OpenAI разработала ИИ-помощника для управления компьютером и автоматизации браузера

OpenAI представила нового ИИ-агента Operator, разработанного для автоматизации действий в браузере. Этот инструмент может взаимодействовать с элементами интерфейса, такими как кнопки, текстовые поля и прокрутка, имитируя действия пользователя.

Основой работы Operator стала модель Computer-Using Agent (CUA), которая объединяет возможности GPT-4 для распознавания изображений с усовершенствованным механизмом анализа и принятия решений. Алгоритм работает поэтапно: сначала создается скриншот экрана, затем система анализирует его, определяет необходимые действия и симулирует их с помощью виртуальных мыши и клавиатуры. Пользователи могут наблюдать за процессом через небольшое окно в браузере.

На данный момент Operator показывает лучшие результаты в выполнении рутинных и повторяемых задач, таких как составление списков покупок или плейлистов. Однако агент сталкивается с трудностями при работе с незнакомыми интерфейсами, например, в таблицах, календарях или при редактировании сложных текстов.

Хотя технология находится на начальной стадии развития, она обещает стать мощным инструментом для автоматизации рутинных процессов и работы с браузером.