RealFeedApp Baidu veröffentlicht ERNIE 5.5 Flash Base mit 280 Milliarden Parametern
Das Modell ist ein sparsamer Mixture-of-Experts-Ansatz mit 14 Milliarden aktivierten Parametern pro Token. Es wurde von Grund auf auf 33,5 Billionen Tokens vortrainiert und unterstützt einen Kontext von bis zu 1 Million Tokens.
- Bereich
- Training von Sprachmodellen
- Was gemacht wurde
- Baidu hat ERNIE 5.5 Flash Base veröffentlicht, ein Sprachmodell mit 280 Milliarden Parametern, das von 33,5 Billionen Tokens trainiert wurde. Die Gewichte stellen den Zustand nach dem Vortraining dar, bevor weitere Anpassungen durchgeführt wurden.
- Warum es wichtig ist
- Dieses Modell dient als gemeinsame Startbasis für Entwickler, die es für Domänenanpassung, Anweisungsfeinabstimmung oder Forschung im Bereich des Verstärkenden Lernens nutzen können.
#ernie#baidu#llm#mixture-of-experts#sparse-moe#context-window
