Исследование: ChatGPT еще не готов к использованию в медицинских учреждениях

Медики из Школы медицины и стоматологии имени Шулича обнаружили, что несмотря на обучение работе с большим объемом данных, LLM ChatGPT не очень хорош в диагностике заболеваний человека.

Они обучили его на 150 тематических исследованиях, предоставленных медицинским сайтом Medscape, и попросили поставить диагноз. После отправки ответа LLM исследователи оценили его по нескольким показателям.

Они обнаружили, что LLM правильно ставил диагноз только в 49% случаев, но хорошо справлялся с описанием того, как был поставлен диагноз, что, по мнению команды, может быть полезно для студентов-медиков. LLM также хорошо исключал возможные заболевания.

В заключение они предполагают, что ChatGPT еще не готов к использованию в медицинских учреждениях.