RealFeedApp beta
- ALHR сократила чтение ключей до 30 на запрос
Метод ALHR использует иерархическое маршрутирование для снижения нагрузки на память видеокарты с 57 до 422 МБ, сохраняя 92,1% точности на 1024 токенах.
- Область
- как устроены нейросети
- Что сделали
- Система ALHR использует иерархические деревья для маршрутизации запросов, чтобы сократить количество ключей, которые нужно читать при обработке текста, сохраняя при этом высокую точность ответов.
- Зачем это
- Это позволяет значительно уменьшить потребление видеопамяти (VRAM) и ускорить работу модели, так как количество операций растёт линейно, а не квадратично, что критично для обработки очень длинных текстов.
#alhr#sparse attention#kv compression#llm inference#vram optimization
