RealFeedApp beta

Synthetischer Traffic ersetzt LLM als Judge

Die Bewertung von Suchergebnissen durch LLMs ignoriert die fundamentale Bedeutung der Benutzeroberfläche. Agenten, die direkt die Such-UI steuern, versprechen bessere Ergebnisse als reine Ranking-Metriken.

Bereich
Anwendung von Sprachmodellen
Was gemacht wurde
Die Studie schlägt vor, synthetische Daten statt von großen Sprachmodellen (LLMs) als Prüfer für Suchmaschinen zu verwenden, um die Bewertung schneller und weniger fehleranfällig zu machen.
Warum es wichtig ist
Die aktuelle Methode, bei der LLMs Ergebnisse als relevant oder nicht relevant markieren, führt zu inkonsistenten Ergebnissen, da die Bewertung der Sortierung nicht mit dem Erfolg in A/B-Tests übereinstimmt.
#search evaluation#synthetic traffic#llm-as-a-judge#reinforcement learning#search agents

Original lesen →