Большие языковые модели не могут сравниться с человеком в понимании текста

Международная исследовательская группа, возглавляемая URV, провела анализ семи моделей искусственного интеллекта (ИИ) и сравнила их с человеческим пониманием языка. Результаты этого исследования, опубликованные в журнале Scientific Reports, показали, что, несмотря на впечатляющие достижения в сложных задачах, большие языковые модели (LLM) не могут сравниться с человеческим пониманием текста.

LLM используют статистические закономерности, извлечённые из обучающих данных, а не глубокое понимание языка. В исследовании, проведённом Витторией Дентеллой, модели показали среднюю точность ответов в диапазоне от 70 до 83%, в то время как люди достигли 89% точности.

Кроме того, люди оказались более последовательными в своих ответах на повторяющиеся вопросы, демонстрируя точность 87% по сравнению с 66–83% у моделей.