Автоматизация продакшена Nanbeige 4.3-33B на GPU Blackwell
Автор создал бенчмарк для автоматической оптимизации инференса и настроил работу модели Nanbeige 4.3-33B на одном узле Azure A100 80GB PCIe.
- Область
- применение языковых моделей
- Что сделали
- Автор создал систему автоматической настройки параметров для запуска модели Nanbeige 4.3-33B на одном видеокарте A100, используя метод подбора оптимальных значений (hill-climbing).
- Зачем это
- Это позволяет тестировать и развертывать языковые модели в условиях ограниченного доступа к новым чипам Hopper и Blackwell, используя доступные серверы A100.
#vllm#sglang#llm#inference#azure#optimization



