RealFeedApp KVGuard обнаружил баг с чтением кэша KV в SGLang
Команда создала инструмент KVGuard, который обнаруживает уязвимость в SGLang, когда сервер читает данные из общего буфера KV, не принадлежащего текущему запросу. В тестировании на версии 0.5.19 было найдено 4095 таких чтений.
- Область
- компьютерная безопасность
- Что сделали
- Создали инструмент KVGuard, который находит ошибки чтения памяти кэша, когда серверные системы случайно читают данные других пользователей.
- Зачем это
- Это позволяет предотвратить утечки информации, когда запросы возвращают HTTP 200, но содержат скрытые фрагменты чужих сообщений.
#kv cache#llm#serving engine#memory safety#sglang#bug
