ИИ для выявления неточностей в новостях о научных открытиях: новый подход

На конференции Ассоциации по развитию искусственного интеллекта исследователи из Технологического института Стивенса представили архитектуру ИИ для выявления неточностей в новостных сообщениях о научных открытиях. Система использует LLM с открытым исходным кодом и коммерческие модели.

Для обучения ИИ был создан набор данных из 2400 сообщений, включающих как достоверные, так и неточные отчёты. Команда разработала трёхэтапный процесс: обобщение новостных сообщений, сравнение их с оригинальными исследованиями и оценка точности. Также были определены «параметры достоверности», такие как чрезмерное упрощение или путаница между причинно-следственными связями и корреляцией.

ИИ смог правильно различать достоверные и недостоверные сообщения с точностью около 75%, причём показал лучшие результаты в выявлении неточностей в человеческом контенте. Исследователи надеются, что их работа станет полезным ресурсом для других учёных.