RealFeedApp Бенчмарк MemoryDojo охватывает четыре предметные области
Исследование MemoryDojo выявило, что вредоносные команды, полученные в одной сессии, могут быть сохранены в памяти агента и использованы для выполнения действий в последующих сессиях. Бенчмарк охватывает 155 многоэтапных траекторий в четырех доменах для оценки влияния отравления.
- Область
- компьютерная безопасность
- Что сделали
- Создали набор MemoryDojo для отслеживания того, как вредоносные команды, полученные в одной сессии, сохраняются в памяти и вызывают неправильное поведение агента в последующих сессиях.
- Зачем это
- Это позволяет количественно оценить, насколько разные системы памяти уязвимы к таким атакам, и выявить разницу в их реакции на отравленные данные.
#llm agents#memory systems#poisoning#security benchmarks
