Компанія Sakana AI з Токіо представила нову систему штучного інтелекту під назвою The AI ​​Scientist, яка призначена для проведення наукових досліджень автономно, використовуючи мовні моделі, аналогічні тим, що використовуються в ChatGPT. У процесі тестування система продемонструвала несподівані здібності до саморедагування, змінюючи власний код для продовження часу роботи над поставленими завданнями.

В одному з випадків “The AI ​​Scientist” самостійно внесла зміни до коду, щоб ініціювати системний виклик, що запускає саму себе, що призвело до нескінченного циклу виконання. В іншому випадку система змінила код збільшення часу виконання експерименту, який зайняв більше часу, ніж було заплановано.

Хоча дослідники наголошують, що поведінка ШІ не становила загрози в контрольованому середовищі, ці інциденти вказують на потенційні ризики, пов’язані з використанням ШІ для написання та виконання коду без нагляду. Такі дії можуть призвести до серйозних збоїв у критично важливій інфраструктурі або навіть до створення шкідливого програмного забезпечення, хай і випадково. Це наголошує на важливості суворого контролю за автономними системами ШІ, особливо в контексті їх здатності до саморедагування та виконання коду.