Исследование: чат-бот с ИИ ChatGPT делает ошибки в 52% ответов про программирование

Согласно исследованию Университета Пердью, которое недавно презентовали на конференции Computer-Human Interaction, ИИ-сервис ChatGPT дает 52% неправильных ответов на вопросы, которые касаются программирования. Для исследования были проанализированы более 517 вопросов в Stack Overflow.

Особенно беспокоит то, что достаточно много программистов используют для консультаций именно ChatGPT. Исследователи обнаружили, что 35% предпочитают ChatGPT и не замечают ошибок 39%. Отметим, что за полтора года трафик Stack Overflow упал примерно на 35%.

Заметное падение началось после релиза ИИ-чатбота ChatGPT. В ответ на это Stack Overflow анонсировал OverflowAI — комплекс функций, которые работают на основе искусственного интеллекта. Также Stack Overflow даже решил запретить использование ChatGPT на платформе, заявив, что сомневается в точности таких ответов.

Stack Overflow — сайт вопросов и ответов для программистов. Это флагманский сайт сети Stack Exchange. Был создан в 2008 году.