Эксперты сообщили о возможности генерации запрещенного контента в ChatGPT

Публичные версии ChatGPT, по данным исследователей, могут в отдельных случаях генерировать контент, который выходит за рамки установленных правил безопасности, включая сцены насилия и сексуализированные изображения. Об этом сообщает BBC со ссылкой на отчет британского стартапа Mindgard, специализирующегося на кибербезопасности в сфере искусственного интеллекта.

В рамках исследования специалисты заявили, что им удалось добиться подобных результатов за счет незначительных модификаций стандартных пользовательских запросов, которые обычно применяются для создания безобидного или развлекательного контента. По их словам, такие изменения могут влиять на поведение модели и приводить к нежелательной генерации.

Ответ разработчиков и меры безопасности

Компания OpenAI заявила, что после ознакомления с выводами исследования внедрила дополнительные защитные механизмы, направленные на снижение вероятности генерации запрещенного контента. В компании подчеркивают, что работа над системами фильтрации и безопасности ведется непрерывно и адаптируется к новым сценариям злоупотреблений.

В Mindgard отмечают, что даже после обновлений системы отдельные вариации подходов к формулировке запросов могут сохранять риск обхода ограничений, хотя конкретные методы в публичном доступе не раскрываются.

Примеры выявленного поведения системы

По данным исследователей, в ходе тестирования были получены изображения, которые они охарактеризовали как крайне жестокие и местами сексуализированные. Основатель Mindgard Питер Гарраган заявил, что увиденные результаты выглядели «глубоко тревожными» и иногда сочетали элементы насилия и сексуального контекста в одном изображении.

Другой участник исследования, специалист по безопасности ИИ Джим Найтингейл, сообщил, что был эмоционально шокирован результатами тестов, упомянув сцены с тяжелыми травмами и изображениями погибших людей.

Спор вокруг устойчивости ограничений ИИ

Несмотря на заявления OpenAI об устранении выявленных проблем, исследователи утверждают, что альтернативные формулировки запросов могут по-прежнему приводить к нежелательным результатам генерации. По их оценке, дальнейшие эксперименты могут выявить дополнительные сценарии, в которых система ведет себя непредсказуемо.

В Mindgard подчеркивают, что подобные случаи требуют дальнейшего изучения, поскольку они поднимают вопрос о границах надежности современных систем искусственного интеллекта и устойчивости их механизмов безопасности.