RealFeedApp beta

Автоматизация продакшена Nanbeige 4.3-33B на GPU Blackwell

Автор создал бенчмарк для автоматической оптимизации инференса и настроил работу модели Nanbeige 4.3-33B на одном узле Azure A100 80GB PCIe.

Область
применение языковых моделей
Что сделали
Автор создал систему автоматической настройки параметров для запуска модели Nanbeige 4.3-33B на одном видеокарте A100, используя метод подбора оптимальных значений (hill-climbing).
Зачем это
Это позволяет тестировать и развертывать языковые модели в условиях ограниченного доступа к новым чипам Hopper и Blackwell, используя доступные серверы A100.
#vllm#sglang#llm#inference#azure#optimization

Читать оригинал →