В Токійському університеті робота Alter3 з’єднали з GPT-4 для можливості його програмування голосом

Команда дослідників з Токійського університету досягла значного прогресу в галузі робототехніки, об’єднавши велику мовну модель GPT-4 і робота Alter3. Це інноваційне поєднання дозволяє роботу виконувати більш реалістичні жести та програмуватися природною мовою, відмовляючись від традиційних апаратно-залежних систем управління. Alter3, гуманоїдний робот, отримав здатність до виконання складних рухів верхньої частини тіла та імітації емоцій на обличчі.

Вчені назвали цей прогрес “зміною парадигми” в галузі робототехніки. Завдяки GPT-4, робот може вивчати та виконувати різноманітні завдання, такі як селфі, гра в бейсбол, поїдання попкорну чи гра на уявній гітарі, просто слухаючи природні мовні інструкції. Раніше для таких завдань потрібно було кодувати конкретні інструкції для кожної дії, а тепер робот може взаємодіяти за допомогою мови, що робить взаємодію більш ефективною та людиноцентричною.

Вчені висловлюють думку, що зараз можливо здійснювати пряме управління роботом, передаючи лінгвістичні вирази людських дій через програмний код. Це розширює можливості взаємодії між людиною та роботом. Цей прорив в галузі робототехніки відкриває перспективи для створення більш інтелектуальних, адаптивних та персоналізованих робототехнічних сутностей. У робота Alter3 встановлено камеру, що дозволяє йому “бачити” людей і вдосконалювати свою поведінку, аналізуючи їхні реакції. В одному сценарії робот демонструє, що їсть пакет попкорну, але потім виявляється, що попкорн належить людині, яка сидить поруч. Вирази обличчя робота і рухи руки передають здивування і сором.

Використання мовних моделей у дослідженнях робототехніки робить процес координації багатьох суглобів робота значно простішим. Вчені можуть надавати вербальні інструкції, які описують варіанти руху, та отримувати програмний код для запуску двигуна робота. Це звільняє від рутинної роботи, яка полягає в програмуванні кожного окремого руху для 43 осей, і дає можливість дослідникам швидше, плавніше та точніше налаштовувати та вдосконалювати рухи робота з часом.