RealFeedApp gpt-oss-120b bestand bei 30 Versuchen
Das Modell gpt-oss-120b bestand in allen 30 Versuchen auf einem DGX Spark. Es war das einzige Modell, das in allen sechs Aufgaben bestand.
- Bereich
- Anwendung von Sprachmodellen
- Was gemacht wurde
- Fünf lokale KI-Modelle wurden auf einem DGX Spark Server getestet, um zu prüfen, ob sie Code kompilieren und Tests bestehen. Statt nur die Geschwindigkeit (Tokens pro Sekunde) zu messen, wurde die Zuverlässigkeit über fünf Wiederholungen pro Modell bewertet.
- Warum es wichtig ist
- Die Ergebnisse zeigen, dass einige Modelle in einzelnen Läufen erfolgreich waren, aber in anderen versagten, was als 'flaky' (unzuverlässig) bezeichnet wird. Entwickler benötigen diese Daten, um zu wissen, welche Modelle für stabile Softwareentwicklung geeignet sind.
#llm#local models#compilation#llama.cpp#ollama#benchmarking
