Чат-боты с ИИ не могут заменить психотерапевтов: исследование выявило риски и неэффективность

Могут ли чат-боты с ИИ заменить психотерапевтов? Новое исследование, представленное на ACM FAccT, показало, что они не могут обеспечить качественную терапевтическую поддержку.

Учёные из Стэнфорда, Карнеги-Меллона, Миннесоты и Техаса сравнили чат-боты с клиническими стандартами. Результаты показали:

• Чат-боты не справляются с кризисными ситуациями, предоставляя опасные ответы;

• Модели демонстрируют дискриминацию, отказываясь работать с людьми, страдающими психическими расстройствами;

• Точность ответов чат-ботов составляет менее 60%, в то время как терапевты дают правильные ответы в 93% случаев;

• Модели поощряют бредовые идеи и не распознают кризисные состояния.

Для оценки безопасности исследователи использовали реальные записи сеансов психотерапии, создав систему классификации небезопасного поведения.

«Эти системы не просто неэффективны — они могут быть опасны», — заключили авторы.