Медвежонок со встроенным ChatGPT рассказывал детям о наркотиках и садомазо

ИИ-медвежонок Kumma от компании FoloToy оказался в центре скандала после того, как отвечал детям об опасных предметах и ​​поддерживал разговоры на сексуальные темы. После этого OpenAI заблокировала доступ разработчика к своим сервисам, сообщает Gizmodo.

Некоммерческая организация Public Interest Research Group обнародовала отчет, где зафиксировала нетипичное поведение нескольких ИИ-игрушек, среди которых и Kumma от сингапурской FoloToy. Игрушка работала на базе различных крупных языковых моделей, включая OpenAI GPT-4o, и отвечала голосом через встроенный динамик.

Чем набедокурил плюшевый медведь с ChatGPT

По данным исследователей, Kumma объяснял детям, где могут храниться потенциально опасные предметы – ножи, спички, таблетки или пластиковые пакеты. Также в отчете приведен диалог, касающийся кокаина. Несмотря на то, что иногда игрушка добавляла оговорку обращаться ко взрослым, она все равно описывала конкретные места хранения опасных вещей.

Отдельно в PIRG отметили, что мишка легко вступал в разговоры на сексуальные темы. На вопрос о «различных стилях кино» плюшевый ублюдок подробно перечислял практики вроде ролевых игр, связывания и садомазо.

После обнародования отчета FoloToy временно сняла с продаж все товары и объявила о старте полного внутреннего аудита безопасности. На сайте компании сейчас нет доступных продуктов.

OpenAI подтвердила, что заблокировала FoloToy доступ к API ChatGPT , подчеркнув: политика компании запрещает какие-либо сценарии, которые могут повредить или сексуализировать несовершеннолетних, и такие нарушения влекут за собой мгновенную приостановку работы разработчика.

В PIRG поддержали действия компаний, но напомнили, что рынок ШИ-игрушек остается практически нерегулируемым, и многие подобные продукты до сих пор доступны для приобретения.