OpenAI розробила ШІ-помічника для керування комп’ютером та автоматизації браузера

OpenAI представила нового ІІ-агента Operator, розробленого для автоматизації дій у браузері. Цей інструмент може взаємодіяти з елементами інтерфейсу, такими як кнопки, текстові поля та прокручування, імітуючи дії користувача.

Основою роботи Operator стала модель Computer-Using Agent (CUA), яка поєднує можливості GPT-4 для розпізнавання зображень із удосконаленим механізмом аналізу та прийняття рішень. Алгоритм працює поетапно: спочатку створюється скріншот екрану, потім система аналізує його, визначає необхідні дії та симулює їх за допомогою віртуальних мишей та клавіатури. Користувачі можуть спостерігати процес через невелике вікно в браузері.

На даний момент Operator показує найкращі результати у виконанні рутинних та повторюваних завдань, таких як складання списків покупок або плейлистів. Однак агент стикається з труднощами при роботі з незнайомими інтерфейсами, наприклад, таблицях, календарях або при редагуванні складних текстів.

Хоча технологія знаходиться на початковій стадії розвитку, вона обіцяє стати потужним інструментом для автоматизації рутинних процесів та роботи з браузером.