RealFeedApp Исправление весов Astra повышает IFEval в 3 раза без обучения
Модель Astra без градиентов нашла ошибку в весах Qwen3.5, вызывающую циклы рассуждений, и исправила её, изменив 0,016% весов. Это подняло результат на тесте MATH-500 с 7,9% до 48,1%.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи показали, что языковая модель Astra способна читать и писать веса нейронных сетей, что позволяет ей находить и исправлять ошибки в обученных моделях без использования градиентов.
- Зачем это
- Это может значительно улучшить процесс оптимизации и интерпретируемости моделей, так как Astra смогла повысить точность математических вычислений с 7,9% до 48,1% и улучшить выполнение инструкций в три раза.
#llm#qwen#astra#weight editing#reasoning
