Ведмедик із вбудованим ChatGPT розповідав дітям про наркотики та садомазо

ШІ-ведмежа Kumma від компанії FoloToy опинилося в центрі скандалу після того, як відповідало дітям про небезпечні предмети і підтримувало розмови на сексуальні теми. Після цього OpenAI заблокувала доступ розробника до своїх сервісів, повідомляє Gizmodo.

Некомерційна організація Public Interest Research Group оприлюднила звіт, де зафіксувала нетипову поведінку кількох ІІ-іграшок, серед яких і Kumma від сінгапурської FoloToy. Іграшка працювала на базі різних великих мовних моделей, включаючи OpenAI GPT-4o, та відповідала голосом через вбудований динамік.

Чим напалив плюшевий ведмідь з ChatGPT

За даними дослідників, Kumma пояснював дітям, де можуть зберігатися потенційно небезпечні предмети – ножі, сірники, пігулки чи пластикові пакети. Також у звіті наведено діалог щодо кокаїну. Незважаючи на те, що іноді іграшка додавала застереження звертатися до дорослих, вона все одно описувала конкретні місця зберігання небезпечних речей.

Окремо у PIRG зазначили, що ведмедик легко вступав у розмови на сексуальні теми. На питання про «різні стилі кіно» плюшевий виродок докладно перераховував практики на кшталт рольових ігор, зв’язування та садомазо.

Після оприлюднення звіту FoloToy тимчасово зняла з продажу всі товари та оголосила про старт повного внутрішнього аудиту безпеки. На сайті компанії зараз немає доступних продуктів.

OpenAI підтвердила, що заблокувала FoloToy доступ до API ChatGPT, підкресливши: політика компанії забороняє будь-які сценарії, які можуть пошкодити або сексуалізувати неповнолітніх, і такі порушення спричиняють миттєве призупинення роботи розробника.

У PIRG підтримали дії компаній, але нагадали, що ринок ШІ-іграшок залишається практично нерегульованим, і багато подібних продуктів досі доступні для придбання.