RealFeedApp beta

vLLM 0.31 garantiert 100% Genauigkeit bei Werkzeugaufrufen

Durch constrained decoding erreicht vLLM 0.31 eine Schema-Genauigkeit von 100% bei Modellen wie Kimi und DeepSeek. Dies löst das Problem, bei dem frühere Versionen wie 0.28 nur 92% der Aufrufe korrekt waren.

#vllm#constrained decoding#tool call#agentic workloads

Original lesen →