RealFeedApp New method ResQAdam uses single BF16 momentum
The method retains only the sign of the residual component, enabling a single BF16 vector instead of two FP32 states. When weights are quantized to 2 bits, optimizer state memory usage drops by 71–74% compared to AdamW.
- Field
- training language models
- What they did
- Создали новый метод оптимизации ResQAdam, который сохраняет только знак остаточной части градиента вместо всей её информации, чтобы не терять точность при квантовании весов модели.
- Why it matters
- Это позволяет сократить объем памяти для хранения состояния оптимизатора на 71–74% по сравнению с обычным AdamW, что критично для обучения больших языковых моделей на малом количестве бит данных.
#llm#quantization#optimization#memory#adamw#qat
