Сжатие больших языковых моделей: новый алгоритм для экономии ресурсов

Большие языковые модели (LLM) становятся всё более популярными для автоматизации различных задач, таких как перевод, классификация текстов и обслуживание клиентов. Однако пользователи обычно должны отправлять запросы на централизованный сервер, что связано с высокой стоимостью, потреблением энергии и, иногда, медлительностью.

Исследователи предложили метод сжатия огромных объёмов данных LLM, который может повысить конфиденциальность, сэкономить энергию и снизить затраты. Их результаты были опубликованы на сервере препринтов arXiv.

Новый алгоритм работает путём устранения избыточности и снижения точности слоёв информации в LLM. Это позволяет создавать более компактные модели, которые можно хранить и использовать локально, например, на телефоне или ноутбуке, обеспечивая при этом почти такую же точность и детализацию.