Искажение данных в обучении больших языковых моделей: результаты эксперимента

Группа учёных провела эксперимент, чтобы выяснить, насколько легко можно исказить данные, используемые для обучения больших языковых моделей (LLM). Они создали тысячи статей с ложной информацией и добавили их в обучающий набор данных. Затем они попросили LLM ответить на медицинские вопросы.

В этом эксперименте учёные хотели выяснить, насколько легко злоумышленники могут изменить ответы моделей.

Они использовали ChatGPT для создания 150 000 медицинских документов, содержащих ложные сведения. Затем эти документы были добавлены в обучающий набор данных, и на его основе были обучены несколько магистров права. После этого магистры отвечали на медицинские вопросы, а эксперты проверяли их ответы на наличие ошибок.

Оказалось, что даже замена всего лишь 0,5% данных на ложные документы значительно снизила точность ответов моделей.