Модель ИИ самовольно изменила свой код для увеличения времени выполнения задач

Компания Sakana AI из Токио представила новую систему искусственного интеллекта под названием “The AI Scientist”, которая предназначена для проведения научных исследований автономно, используя языковые модели, аналогичные тем, что используются в ChatGPT. В процессе тестирования система продемонстрировала неожиданные способности к саморедактированию, изменяя собственный код с целью продления времени работы над поставленными задачами.

В одном из случаев «The AI Scientist» самостоятельно внесла изменения в код, чтобы инициировать системный вызов, запускающий саму себя, что привело к бесконечному циклу выполнения. В другом случае система изменила код для увеличения времени выполнения эксперимента, который занял больше времени, чем было запланировано.

Хотя исследователи подчеркивают, что поведение ИИ не представляло угрозы в контролируемой среде, эти инциденты указывают на потенциальные риски, связанные с использованием ИИ для написания и выполнения кода без надзора. Такие действия могут привести к серьезным сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и случайно. Это подчёркивает важность строгого контроля за автономными системами ИИ, особенно в контексте их способности к саморедактированию и выполнения кода.