RealFeedApp Удаление менее 0,05% весов заменяет полный файн-тюнинг
Метод Deletion Tuning удаляет менее 0,05% весов для достижения результатов, сопоставимых с полным тонированием, сохраняя точность по предыдущим задачам.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи показали, что удаление менее 0,05% весов в предобученной языковой модели позволяет ей приобрести новые способности, что соответствует полному перенастройке (fine-tuning). Для этого они разработали метод Deletion Tuning, который учит бинарную маску для затухания проекций в блоках трансформера.
- Зачем это
- Этот метод позволяет достичь тех же результатов, что и полная перенастройка, при этом сохраняя значительно больше точности по предыдущим задачам, что решает проблему забывания, характерную для непрерывного обучения.
#llm#post-training#deletion tuning#reinforcement learning#continual learning
