RealFeedApp Один сервер AWS trn2.48xlarge обслуживает GLM-5.3-Flash
Модель GLM-5.3-Flash с 320 миллиардами параметров обрабатывает 3,57 миллиона токенов в минуту на сервере AWS trn2.48xlarge. Оптимизация через NKI слой сократила время декодирования с 32,2 до 24,2 миллисекунд.
- Область
- применение языковых моделей
- Что сделали
- Разработчики показали, что модель GLM-5.3-Flash с 320 миллиардами параметров можно обслуживать на одном сервере AWS Trainium2, достигая скорости обработки 3,57 миллиона токенов в минуту. Для этого они переписали код декодирования модели, используя специальные ядра NKI и кэширование контекста.
- Зачем это
- Это позволяет модели обрабатывать миллион-токенные запросы и отвечать на них за три минуты, что делает её пригодной для реальных сценариев с агентами, где важна скорость и работа с большими данными.
#glm-5.3-flash#trainium2#inference#optimization#aws
