RealFeedApp Kinference управляет масштабированием платформ vLLM
Проект Buoyant представил Kinference — слой управления для оркестрации vLLM с функциями ограничения токенов и мониторинга расходов. Клиенты подключаются через HTTP-интерфейс, передавая трафик в формате OpenAI или Anthropic.
- Область
- инструменты и релизы
- Что сделали
- Компания Buoyant выпустила Kinference — открытое программное обеспечение, которое управляет работой языковых моделей на базе vLLM и Kubernetes.
- Зачем это
- Это позволяет пользователям ограничивать количество токенов, отслеживать расходы и распределять нагрузку между GPU, что решает проблемы с масштабированием и управлением ресурсами.
#kinference#vllm#kubernetes#inference#llm
