RealFeedApp Тесты сравнивают производительность Sonnet 5 и S
Команда evalshift/llm-regression-example внедрила автоматическую проверку обновлений моделей в CI на основе реальных логов.
- Область
- применение языковых моделей
- Что сделали
- Разработали метод для обнаружения регрессий в языковых моделях, используя набор реальных данных из производства и автоматические проверки в системе контроля качества.
- Зачем это
- Это позволяет избежать проблем с производительностью, когда провайдер обновляет модель, и экономит время поддержки, превращая проверку в автоматический этап сборки.
#llm testing#golden dataset#deterministic assertions#ci integration
