Учёные создали модель, которая переводит сигналы мозга в текст

Ученые из Йельского, Дартмутского и Кембриджского университетов создали модель MindLLM, способную переводить сигналы мозга в текст без настройки под конкретного человека. Модель превосходит предыдущие аналоги на 12–25% и использует нейробиологические механизмы внимания и большую языковую модель для лучшего понимания и преобразования активности мозга в текст.

Предыдущие попытки перевода активности мозга в текст были ограничены и не всегда точны, а результаты плохо обобщались на других людей. Существующие модели часто требовали настройки под конкретного человека, что ограничивало их применение.

В новом исследовании MindLLM была протестирована на восьми людях с использованием стандартного набора данных NSD. Результаты показали, что модель хорошо справляется с декодированием сигналов мозга в текст.