RealFeedApp vLLM Agentic API keeps conversation history on the server
The service enables running Codex and Claude Code with multi-turn execution and MCP tools, avoiding transcript rebuilding on every call.
- Field
- applying language models
- What they did
- Создали серверный API для языковых моделей, который сохраняет историю диалога и состояние ответов на сервере, чтобы не пересоздавать контекст при каждом новом запросе.
- Why it matters
- Это позволяет моделям, таким как Codex или Claude Code, выполнять многошаговые задачи с использованием встроенных инструментов (например, поиска в интернете) без необходимости передавать весь предыдущий разговор с клиентом.
#vllm#agentic api#llm#mcp#inference
