RealFeedApp Deletion Tuning behält Genauigkeit bei
Das Entfernen weniger als 0,05% der Gewichte reicht aus, um neue Fähigkeiten zu erlernen, ohne die Basisgenauigkeit zu verlieren.
- Bereich
- Training von Sprachmodellen
- Was gemacht wurde
- Die Forscher haben eine Methode namens Deletion Tuning entwickelt, bei der weniger als 0,05 % der Gewichte eines vortrainierten Sprachmodells auf Null gesetzt werden, um neue Fähigkeiten zu erlernen. Dieser Ansatz erreicht bei drei verschiedenen Trainingsverfahren denselben Erfolg wie das vollständige Feinabstimmung, benötigt aber nur ein sehr kleines Binärmasken-Modell und vergisst dabei deutlich weniger als herkömmliche Methoden.
- Warum es wichtig ist
- Die Methode adressiert das zentrale Problem des kontinuierlichen Lernens, indem sie die Genauigkeit auf vorherigen Aufgaben nahe dem Basisniveau beibehält, während andere Techniken wie LoRA oder zufälliges sparsames Feinabstimmung dies nicht tun.
#llm#post-training#deletion tuning#reinforcement learning#continual learning
