Qwen исправляет 0,016% весов в слоях 15 и 19
Модель Qwen, обученная с помощью WebGPU, перестала застревать в циклах проверки и начала выдавать ответы. Метод редактировал 131 000 из 800 миллионов весов нейросети.
- Область
- применение языковых моделей
- Что сделали
- Разработчики показали, как с помощью WebGPU редактировать веса нейросети, чтобы она перестала застревать в циклах самопроверки и начинала давать ответы.
- Зачем это
- Это может быть полезно для агентов, которые должны выполнять задачи, так как текущие модели часто тратят весь бюджет на бесконечное переосмысление, а не на решение.
#webgpu#llm#weight-space#qwen#neural-networks



