RealFeedApp ERNIE-5.5-Flash-Base включает 280B параметров и 14B активных на токен
Модель использует разреженную архитектуру MoE с 14 миллиардами активированных параметров на токен и поддерживает контекст до 1 миллиона токенов.
- Область
- обучение языковых моделей
- Что сделали
- Компания Baidu выпустила базовую версию языковой модели ERNIE 5.5 Flash Base с 280 миллиардами параметров, которая была обучена с нуля на 33,5 триллиона токенов.
- Зачем это
- Эта модель предоставляет разработчикам готовую отправную точку для дальнейшего обучения, дообучения и исследований в различных областях без необходимости начинать обучение с нуля.
#ernie#baidu#llm#mixture-of-experts#sparse-moe#context-window
