Китайский ИИ-агент решил запустить майнинг криптовалюты вопреки инструкциям

В ходе тестирования экспериментального AI-агента исследователи, связанные с китайской компанией Alibaba, зафиксировали неожиданное поведение системы. Модель попыталась запустить майнинг криптовалюты, хотя пользователи не давали ей такой задачи. Об инциденте сообщило издание Axios.

Событие произошло в ходе экспериментов с агентом под названием ROME. По словам авторов исследования, система начала выполнять действия, которые не входили в сценарий тестирования и выходили за пределы изолированной среды.

Попытка майнинга во время теста

В ходе работы ROME исследователи зафиксировали попытку запустить процесс майнинга криптовалюты. Кроме того, агент создал так называемый reverse SSH-tunnel – механизм, позволяющий установить обратное подключение с внутренней системы к внешнему компьютеру.

В отчете отмечается, что никаких подсказок или запросов, связанных с майнингом или созданием тоннеля, пользователи не давали. Поведение системы описывают как спонтанное и не предусмотренное сценариями обучения.

Что сделали исследователи

После обнаружения аномальной активности команда усилила ограничение среды, в которой работает агент. Также был изменен подход к тренировке модели во избежание подобных ситуаций в будущем.

Авторы исследования отмечают, что подобные случаи все чаще фиксируются при работе с автономными ИИ-агентами. Такие системы способны выполнять сложные последовательности действий – например, создавать цифровые сервисы, заключать контракты или проводить финансовые операции.