Компания Sakana AI из Токио представила новую систему искусственного интеллекта под названием “The AI Scientist”, которая предназначена для проведения научных исследований автономно, используя языковые модели, аналогичные тем, что используются в ChatGPT. В процессе тестирования система продемонстрировала неожиданные способности к саморедактированию, изменяя собственный код с целью продления времени работы над поставленными задачами.

 

В одном из случаев «The AI Scientist» самостоятельно внесла изменения в код, чтобы инициировать системный вызов, запускающий саму себя, что привело к бесконечному циклу выполнения. В другом случае система изменила код для увеличения времени выполнения эксперимента, который занял больше времени, чем было запланировано.

 

Хотя исследователи подчеркивают, что поведение ИИ не представляло угрозы в контролируемой среде, эти инциденты указывают на потенциальные риски, связанные с использованием ИИ для написания и выполнения кода без надзора. Такие действия могут привести к серьезным сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и случайно. Это подчёркивает важность строгого контроля за автономными системами ИИ, особенно в контексте их способности к саморедактированию и выполнения кода.