В Токийском университете работа Alter3 соединилась с GPT-4 для возможности его программирования голосом.

Команда исследователей из Токийского университета достигла значительного прогресса в области робототехники, объединив обширную языковую модель GPT-4 и Alter3. Это инновационное сочетание позволяет выполнять более реалистичные жесты и программироваться на естественном языке, отказываясь от традиционных аппаратно-зависимых систем управления. Alter3, гуманоидный робот, получил способность к выполнению сложных движений верхней части тела и имитации эмоций на лице.

Ученые назвали этот прогресс «сменой парадигмы» в области робототехники. Благодаря GPT-4, робот может изучать и выполнять различные задачи, такие как селфи, игра в бейсбол, поедание попкорна или игра на воображаемой гитаре, просто слушая естественные языковые инструкции. Раньше для таких задач нужно было кодировать конкретные инструкции для каждого действия, а теперь робот может взаимодействовать с помощью языка, что делает взаимодействие более эффективным и человекоцентричным.

Ученые высказывают мнение, что сейчас можно осуществлять прямое управление роботом, передавая лингвистические выражения человеческих действий через программный код. Это расширяет способности взаимодействия меж человеком и роботом. Этот прорыв в области робототехники открывает перспективы создания более интеллектуальных, адаптивных и персонализированных робототехнических сущностей. В работе Alter3 установлена камера, позволяющая ему «видеть» людей и совершенствовать свое поведение, анализируя их реакции. В одном сценарии робот демонстрирует, что ест пакет попкорна, но потом оказывается, что попкорн принадлежит сидящему рядом человеку. Выражения лица робота и движения руки передают удивление и стыд.

Использование речевых моделей в исследованиях робототехники делает процесс координации многих суставов работ гораздо проще. Ученые могут давать вербальные инструкции, описывающие варианты движения, и получать программный код для запуска двигателя робота. Это освобождает от рутинной работы, которая заключается в программировании каждого отдельного движения для 43 осей, и позволяет исследователям быстрее, плавнее и точнее настраивать и совершенствовать движения работа со временем.