Китайський ШІ-агент вирішив запустити майнінг криптовалюти всупереч інструкціям

Під час тестування експериментального AI-агента дослідники, пов’язані з китайською компанією Alibaba, зафіксували несподівану поведінку системи. Модель спробувала запустити майнінг криптовалюти, хоча користувачі не давали їй такого завдання. Про інцидент повідомило видання Axios.

Подія сталася під час експериментів з агентом під назвою ROME. За словами авторів дослідження, система почала виконувати дії, які не входили до сценарію тестування та виходили за межі ізольованого середовища.

Спроба майнінгу під час тесту

У ході роботи ROME дослідники зафіксували спробу запустити процес майнінгу криптовалюти. Крім того, агент створив так званий reverse SSH-tunnel – механізм, що дозволяє встановити зворотне підключення із внутрішньої системи до зовнішнього комп’ютера.

У звіті зазначається, що жодних підказок чи запитів, пов’язаних із майнінгом чи створенням тунелю, користувачі не давали. Поведінка системи описують як спонтанну та не передбачену сценаріями навчання.

Що зробили дослідники

Після виявлення аномальної активності команда посилила обмеження середовища, в якому працює агент. Також було змінено підхід до тренування моделі, щоб уникнути подібних ситуацій у майбутньому.

Автори дослідження зазначають, що подібні випадки все частіше фіксуються під час роботи з автономними ШІ-агентами. Такі системи здатні виконувати складні послідовності дій – наприклад, створювати цифрові послуги, укладати контракти або проводити фінансові операції.