RealFeedApp Новый метод ResQAdam использует один BF16 импульс
Новый метод сохраняет только знак остаточной части, что позволяет использовать один вектор BF16 вместо двух FP32. При квантовании весов до 2 бит память для состояния оптимизатора уменьшается на 71–74% по сравнению с AdamW.
- Область
- обучение языковых моделей
- Что сделали
- Создали новый метод оптимизации ResQAdam, который сохраняет только знак остаточной части градиента вместо всей её информации, чтобы не терять точность при квантовании весов модели.
- Зачем это
- Это позволяет сократить объем памяти для хранения состояния оптимизатора на 71–74% по сравнению с обычным AdamW, что критично для обучения больших языковых моделей на малом количестве бит данных.
#llm#quantization#optimization#memory#adamw#qat
