RealFeedApp beta
- Qwen 3.6 35B A4B+ тестируется с расширенным MoE
Новая экспериментальная функция llama.cpp расширяет активацию экспертов в MoE моделях до 16, 24 или всех доступных, заменяя жесткий лимит Top-K на регулируемый бюджет вычислений. Это позволяет активировать больше экспертов, чем в стандартной реализации, но требует больше памяти и увеличивает нагрузку на ускорители.
- Область
- применение языковых моделей
- Что сделали
- Разработчик vagrillo добавил в библиотеку llama.cpp экспериментальную функцию, позволяющую в процессе работы активировать больше экспертов в моделях типа MoE, чем это разрешено при стандартном обучении.
- Зачем это
- Это может улучшить качество ответов на сложных задачах за счет более полного использования знаний модели, хотя и потребует больше вычислительных ресурсов и памяти.
#llama.cpp#moe#inference#qwen#vllm
