RealFeedApp ResMerge reduziert gespeicherte Parameterzahl
Das Framework ResMerge lernt übertragbare Rest-Politiken, um Parameterwachstum bei der kontinuierlichen Anpassung von Robotern zu vermeiden. Es nutzt eine Metrik zur Bewertung der Kompatibilität von Korrekturrichtungen.
- Bereich
- Robotik
- Was gemacht wurde
- Die Forscher haben ResMerge entwickelt, ein zweistufiges System, das auf einem vorgefertigten Roboterpolicy aufbauend spezifische Korrekturen durch residualen Verstärkungslernen lernt, ohne zusätzliche Demonstrationen zu benötigen, und diese Korrekturen verschmilzt, um den Speicherplatz zu reduzieren. Sie führten zudem RFC ein, eine Metrik, die die Kompatibilität dieser Korrekturen anhand ihrer Richtung und Größe misst.
- Warum es wichtig ist
- Dies wurde notwendig, weil die Anpassung vorgefertigter Roboterpolicies in der realen Welt aufgrund des Parameterwachstums und des Bedarfs an ständiger Demonstrationssammlung schwierig ist. Die Methode soll helfen, Robotersysteme effizienter an neue Aufgaben anzupassen, indem sie den Speicherbedarf reduziert und keine neuen Experten-Demonstrationen erfordert.
#robotics#continual learning#residual policy#reinforcement learning
