RealFeedApp SGLang исправил утечку кэша в GLM-5.3
Обнаружена уязвимость, позволяющая доступ к кэшу KV в одном запросе из другого при использовании SGLang PD. Разработчики внедрили механизм отложенного освобождения памяти и проверку контрольных сумм для устранения проблемы.
- Область
- компьютерная безопасность
- Что сделали
- Исследователи обнаружили уязвимость в системе SGLang, когда данные кэша (KV cache) из одного запроса могли некорректно попадать в кэш следующего запроса, что нарушало изоляцию данных. Это произошло из-за того, что система не всегда правильно определяла, когда слот кэша считается свободным для перезаписи.
- Зачем это
- Устранение этой уязвимости необходимо для защиты конфиденциальности пользователей и безопасности данных в распределенных системах, где каждый клиент должен иметь доступ только к своим данным.
#sglang#kv cache#security#llm#inference
