RealFeedApp Проект llm-d 1.0 создан 500+ участниками из 25 организаций
Открытый стек на базе Kubernetes объединяет сообщества PyTorch и Kubernetes для масштабирования вывода LLM. Проект создан совместно Google, Red Hat и IBM с участием более 500 участников.
- Область
- инструменты и релизы
- Что сделали
- Компания анонсировала llm-d 1.0 — открытую систему для распределенного вывода языковых моделей, которая работает на Google Cloud TPUs и GPU.
- Зачем это
- Это решение предназначено для операторов, которым нужно развертывать и масштабировать агентов на Kubernetes в продакшене.
#llm#inference#kubernetes#google#distributed systems
