RealFeedApp SLM отстает от FMs в терминальных задачах из-за верификации
Repeated sampling narrows but does not eliminate the performance gap between small and frontier models on terminal tasks involving verification and confidence estimation.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи изучили, почему маленькие языковые модели отстают от передовых на задачах с конкретным финальным ответом, разделив этот разрыв на три фактора: возможность найти решение, умение проверить его правильность и уверенность в успехе.
- Зачем это
- Повторное выборочное исследование (генерация нескольких вариантов ответа) немного сужает разрыв в способности находить решения, но не устраняет его полностью.
#small language models#terminal tasks#verification#sampling
