Предвзятость больших языковых моделей: почему они игнорируют середину текста

Исследования показали, что большие языковые модели (LLM), такие как виртуальные помощники, часто обращают больше внимания на начало и конец текста, игнорируя середину. Например, если юрист ищет фразу в 30-страничном документе, модель с большей вероятностью найдёт её на первой или последней странице, чем в середине.

Учёные из Массачусетского технологического института выяснили, почему это происходит. Они изучили, как информация обрабатывается внутри этих моделей, и обнаружили, что определённые особенности их работы могут приводить к такой предвзятости. Это связано с тем, как модель устроена и как она обучается.

Их исследования помогли понять, как возникают такие ошибки и как их можно исправить в будущем. Это может улучшить работу чат-ботов, медицинских систем искусственного интеллекта и помощников по программированию, делая их более точными и справедливыми.