RealFeedApp Ant Group и vLLM открыли библиотеку Humming
Комьюнити vLLM и Ant Group открыли библиотеку Humming для ускоренных вычислений с квантованием весов и активаций. Она поддерживает GPU NVIDIA начиная с архитектуры Turing и устройства Zhenwu 810E от T-Head, превосходя существующие реализации Marlin, FlashInfer и DeepGEMM по производительности.
- Область
- применение языковых моделей
- Что сделали
- Комьюнити vLLM и Ant Group выпустили библиотеку Humming для ускоренного выполнения языковых моделей с уменьшенным объемом данных. Она поддерживает работу на современных видеокартах NVIDIA и других устройствах, а также позволяет использовать различные форматы данных для повышения скорости.
- Зачем это
- Это поможет развертывать большие языковые модели на устройствах с ограниченной памятью, снижая затраты на вычисления и улучшая производительность.
#vllm#quantization#inference#gpu#kernels
