Исследование: 52 % ответов ChatGPT на вопросы по программированию содержали ложную информацию

Чат-бот ChatGPT может помочь программистам в написании кода. Ученые провели исследование, которое показало, что доверять такой вид работы боту с искусственным интеллектом не стоит.

Свое исследование ученые представили на конференции Computer-Human Interaction. Для работы программисты использовали сервис Stack Overflow, в котором просмотрели более 517 вопросов и спросили у бота, что он на них ответит.

Оказалось, что 52 % ответов ChatGPT содержали ложную информацию, 77 % — слишком длинные даже для человека, 78 % — расходятся с ответами людей.

Подтвердив, что чат часто ошибается, исследователи отметили, что в частности программисты не замечают ошибок, потому что ответы построены в дружелюбной манере, которая свойственна ИИ. При этом 35 % опрошенных программистов предпочитают полагаться на ответы ChatGPT.