RealFeedApp Тесты gpt-oss-120b прошли в 30 попытках
Исследование сравнивало пять локальных LLM на сервере ASUS Ascent GX10 с 128 ГБ памяти, используя набор llm-compile-bench. В отличие от метрик токенов в секунду, метод проверяет, компилируется ли код и проходят ли тесты для шести языков программирования.
- Область
- применение языковых моделей
- Что сделали
- Исследователи провели тестирование пяти локальных языковых моделей на сервере NVIDIA DGX Spark, используя набор из шести задач для проверки компиляции кода и прохождения тестов на разных языках.
- Зачем это
- Это позволяет разработчикам не только оценить скорость работы моделей, но и убедиться в их стабильности и совместимости с реальными инструментами разработки, избегая проблем с неработающим кодом.
#llm#local models#compilation#llama.cpp#ollama#benchmarking
