RealFeedApp ResQAdam spart 71% Speicher bei Quantisierung
Das neue Optimierungsmethode ResQAdam reduziert den Speicherbedarf für Optimierer-Zustände um 71% bis 74% im Vergleich zu AdamW. Es nutzt nur einen BF16-Momentumsvektor und behält nur das Vorzeichen des Rests bei.
- Bereich
- Training von Sprachmodellen
- Was gemacht wurde
- Создали новый метод оптимизации ResQAdam, который сохраняет только знак остаточной части градиента вместо всей её информации, чтобы не терять точность при квантовании весов модели.
- Warum es wichtig ist
- Это позволяет сократить объем памяти для хранения состояния оптимизатора на 71–74% по сравнению с обычным AdamW, что критично для обучения больших языковых моделей на малом количестве бит данных.
#llm#quantization#optimization#memory#adamw#qat
