RealFeedApp Метод самопроверки не может достичь pass@N
Увеличение вычислительных ресурсов снижает дисперсию оценок модели, но не устраняет систематическую ошибку (смещение), что приводит к плато в точности самопроверки. Авторы предлагают анализировать методы масштабирования через призму этих двух факторов.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи показали, что увеличение вычислительных ресурсов для самопроверки моделей делает их оценки более последовательными, но не обязательно верными, так как сохраняется систематическая ошибка.
- Зачем это
- Это помогает понять фундаментальные ограничения методов, где модель проверяет свои ответы, и упрощает выбор дизайна алгоритмов для таких систем.
#self-evaluation#bias#variance#test-time compute#llm
