RealFeedApp Kimi K3 на 16 GPU GB300 выдаёт 840 токенов в секунду
Исследователи использовали агентов для написания GPU-ядер и объединения операторов, что позволило достичь 840 токенов/с на 16 GPU NVIDIA GB300 и повысить P90 интерактивности на 1,8 раза.
- Область
- применение языковых моделей
- Что сделали
- Исследователи использовали программных агентов для автоматической написки сложных ядер GPU и оптимизации выполнения кода для модели Kimi K3 на чипах NVIDIA GB300.
- Зачем это
- Это позволяет достичь скорости декодирования более 840 токенов в секунду и повысить интерактивность, что ускоряет работу с языковыми моделями.
#vllm#kimi k3#gpu kernels#agent assisted#nvidia gb300
