RealFeedApp Метрика не различает чужую автобиографию от памяти агента
Исследователи показали, что стандартные методы оценки памяти агентов с помощью LLM-судей и распознавания проваливаются против двух типов противников: поддельной памяти и системы без памяти, которая просто рассуждает. Код для проверки трёх методов против собственной системы доступен в открытом доступе.
- Область
- применение языковых моделей
- Что сделали
- Исследователи показали, что существующие методы проверки памяти агентов на основе текстовых ответов или распознавания не могут отличить реальную память от поддельной или от отсутствия памяти. Они разработали три новых теста для оценки этой способности.
- Зачем это
- Эти инструменты позволяют разработчикам самостоятельно проверять системы агентов на наличие реальной памяти, что критически важно для создания надежных автономных систем.
#llm#agent memory#evaluation#reinforcement learning
