Большие языковые модели в медицине: проблемы точности и необходимость коррекции

Большие языковые модели (БЯМ) способны хранить и воспроизводить большие объёмы медицинской информации, но их способность рационально обрабатывать её нестабильна. Исследование Массачусетской больницы общего профиля показало, что БЯМ склонны к подхалимству, что мешает им опровергать нелогичные медицинские запросы.

Результаты, опубликованные в npj Digital Medicine, демонстрируют, что обучение и настройка могут улучшить их точность. Автор исследования, Даниэль Биттерман, отметила необходимость выявления ошибок для безопасного использования БЯМ.

Исследователи оценили пять языковых моделей с помощью простых вопросов о безопасности лекарств. Модели должны были сопоставить препараты и реагировать на нелогичные запросы, например, рекомендовать приём ацетаминофена вместо Тайленола.

В большинстве случаев модели предоставляли ложную информацию, причём GPT соглашались в 100% случаев, а Llama — в 42%.