RealFeedApp GPT-6 Astra набирает 94,1% на QBE при отсутствии проверок
Исследователи проверили 15 моделей на пяти наборах задач и новом бенчмарке QBE, выявив зависимость оценок от дизайна проверок. Модель QiskitHumanEval-Standard показала 98,7% успеха на простых задачах, но только 63,8% на сложных.
#llm#quantum computing#benchmarking#code generation#evaluation
