Synthetischer Traffic ersetzt LLM als Judge
Die Bewertung von Suchergebnissen durch LLMs ignoriert die fundamentale Bedeutung der Benutzeroberfläche. Agenten, die direkt die Such-UI steuern, versprechen bessere Ergebnisse als reine Ranking-Metriken.
- Bereich
- Anwendung von Sprachmodellen
- Was gemacht wurde
- Die Studie schlägt vor, synthetische Daten statt von großen Sprachmodellen (LLMs) als Prüfer für Suchmaschinen zu verwenden, um die Bewertung schneller und weniger fehleranfällig zu machen.
- Warum es wichtig ist
- Die aktuelle Methode, bei der LLMs Ergebnisse als relevant oder nicht relevant markieren, führt zu inkonsistenten Ergebnissen, da die Bewertung der Sortierung nicht mit dem Erfolg in A/B-Tests übereinstimmt.
#search evaluation#synthetic traffic#llm-as-a-judge#reinforcement learning#search agents



