Российские исследователи внедрили алгоритм HARP, который способен уменьшить нагрузку на дата-центры. Об этом сообщает газета "Известия". По данным издания, специалисты МФТИ представили алгоритм, который компрессирует языковые модели без значительных потерь точности. Система может вдвое ускорить функционирование ИИ-платформ, уменьшая также необходимость в вычислительных ресурсах и памяти.

HARP был успешно протестирован на языковых моделях Llama и Qwen, демонстрируя снижение ошибки на 15% при максимальном сжатии, отмечено в публикации. Газета указывает, что HARP и нейросети, уже сжатые с его использованием, предлагаются для свободного доступа.

Отмечается, что масштабные языковые модели требуют значительных ресурсов, чем ограничивается их работа, особенно из-за пропускной способности памяти. Ученые применяют квантование, уменьшая битовое представление весов моделей, но это часто сопровождается снижением точности. Алгоритм HARP призван минимизировать эти потери, не заменяя, а дополняя существующие методы квантования.

Он был испытан на моделях различных масштабов и, как сообщил газете эксперт НТИ по новым материалам и технологиям Евгений Вишневский, алгоритм преимущественно интегрируется в существующую инфраструктуру сжатия и улучшает её результаты. Это особенно значимо для российского рынка, так как оно способствует более быстрому развитию местных ИИ-технологий и их применению в разных секторах экономики.

• Телеграм
• Дзен
• Подписывайтесь на наши каналы и первыми узнавайте о главных новостях и важнейших событиях дня.