Изучение когнитивных способностей крупных языковых моделей: результаты теста на деменцию

Ведущие крупные языковые модели (чат-боты) демонстрируют лёгкие когнитивные нарушения в тестах на деменцию, как и пожилые люди. Более старые версии чат-ботов и модели, такие как ChatGPT 4, Claude 3.5 и Gemini, хуже справляются с тестами, что ставит под сомнение предположение о замене врачей искусственным интеллектом.

Исследователи оценивали когнитивные способности чат-ботов с помощью теста Монреальской когнитивной оценки (MoCA), который включает задания на внимание, память, речь и пространственные навыки. ChatGPT 4o показал лучшие результаты (26 из 30), но все модели проявили трудности в визуально-пространственных задачах и интерпретации сложных визуальных сцен.

Результаты указывают на необходимость дальнейших исследований для понимания возможностей и ограничений чат-ботов в медицинской диагностике.