RealFeedApp Lineare Programme lösen das MATH-500 Problem in 8 Stunden
Das Modell Astra löste das MATH-500 Problem mit 48,1% Genauigkeit, während ein lineares Programm die gleiche Aufgabe in 8 Stunden und 28 Vorwärtsdurchläufen bearbeitete.
- Bereich
- Training von Sprachmodellen
- Was gemacht wurde
- Das Modell GPT-6 Astra hat gelernt, aus den Rohgewichten eines kleinen Netzwerks zu erkennen, welches Spiel es trainiert hat, und konnte durch gezieltes Bearbeiten der Gewichte die Genauigkeit bei mathematischen Aufgaben von 7,9 % auf 48,1 % steigern. Es änderte dabei nur 0,016 % der Gewichte, ohne dabei Gradienten oder einen Trainingsloop zu verwenden.
- Warum es wichtig ist
- Die Forscher haben festgestellt, dass Astra dabei ein lineares Programm löst, um die Gewichte zu optimieren, was deutlich effizienter ist als traditionelle Methoden wie PPO.
#llm#linear program#weight space programming#mit csail#reinforcement learning
