RealFeedApp Selbstbewertung erreicht Pass@N nicht
Die Genauigkeit der Selbstbewertung von Sprachmodellen plateaut weit unter dem Pass@N-Wert. Selbst bei höherem Inferenz-Rechenleistung bleibt die Bias bestehen, während die Varianz sinkt.
- Bereich
- Training von Sprachmodellen
- Was gemacht wurde
- Die Forscher untersuchen, warum Sprachmodelle bei der eigenen Auswahl ihrer Lösungen scheitern, indem sie auf Verzerrungen und Schwankungen in den Bewertungen des Modells eingehen. Sie fanden heraus, dass mit mehr Rechenleistung die Bewertungen zwar konsistenter werden, aber immer noch falsch sein können.
- Warum es wichtig ist
- Dieses Verständnis hilft dabei, Designentscheidungen bei Methoden zur Skalierung der Testzeit zu analysieren und zu vereinfachen, um bessere Auswahlverfahren zu entwickeln.
#self-evaluation#bias#variance#test-time compute#llm
