ContextSSL: новый подход к самоконтролируемому обучению

Самоконтролируемое обучение (SSL) стирает границы между обучением с учителем и без учителя, автоматически создавая метки на основе необработанных данных. Оно применяется в NLP, компьютерном зрении, биоинформатике и распознавании речи.

Традиционные методы SSL основаны на инвариантности или эквивариантности, что ограничивает их универсальность. Исследователи из MIT и Мюнхенского технического университета предложили новый подход — ContextSSL. Он обучается на основе общего контекста, что делает представления данных более гибкими и адаптируемыми.

ContextSSL использует трансформер для кодирования контекста в виде триплетов «состояние-действие-следующее состояние». Модель учится выборочно обеспечивать инвариантность или эквивариантность, что устраняет необходимость в повторном обучении для каждой задачи.