Ограничения больших языковых моделей в качественных исследованиях

Участие людей в исследованиях требует времени и средств, особенно в условиях ограниченного бюджета и сроков. Большие языковые модели (LLM) могут выполнять множество задач, но исследователи из Университета Карнеги-Меллона выявили их фундаментальные ограничения для качественных исследований, ориентированных на человеческую точку зрения.

Команда SCS провела исследование, опросив 19 экспертов по качественным исследованиям, которые взаимодействовали с LLM в стиле чат-бота. Они обнаружили, что LLM ограничивают научный поиск, так как:

1. Объединяют ответы из разных источников неестественным образом;

2. Могут вызывать вопросы о добровольном согласии, так как обучаются на общедоступных данных.

В итоге исследователи пришли к выводу, что LLM не могут заменить участие людей в качественных исследованиях из-за этических и методологических проблем.