ZeroSearch: новый метод обучения больших языковых моделей

Исследователи из лаборатории Tongyi в Alibaba придумали новый, более дешёвый способ обучения больших языковых моделей, таких как ChatGPT. Их статья опубликована на сервере arXiv.

Сейчас обучение таких моделей стоит дорого из-за высоких затрат на сбор данных через поисковые системы. Исследователи предложили новый метод под названием ZeroSearch, который использует искусственно созданные документы вместо реальных результатов поиска.

ZeroSearch экономит ресурсы и улучшает качество обучения, так как данные в таких документах предсказуемы и не зависят от случайных факторов. Кроме того, этот метод позволяет усложнять задачи, постепенно ухудшая качество документов.

Тестирование показало, что ZeroSearch значительно дешевле: 70,80 долларов за 64 тысячи запросов по сравнению с 586,70 долларами при использовании API Google. При этом результаты, полученные с помощью ZeroSearch, были не хуже или даже лучше, чем у моделей, обученных через API.