RealFeedApp 30 веб-задач и 20 игровых тестов
Новый бенчмарк Realtime-Bench выявил, что современные языковые модели плохо выполняют задачи, требующие мгновенных решений. Эксперты из Техасского университета, Огайо, Illinois, NVIDIA и других организаций разработали набор из 50 интерактивных задач для оценки задержки.
- Область
- применение языковых моделей
- Что сделали
- Исследователи создали набор из 50 интерактивных задач (игры и веб-сервисы), чтобы проверить, насколько современные языковые модели способны принимать решения в реальном времени, когда задержка влияет на результат.
- Зачем это
- Это поможет понять, почему текущие ИИ-системы плохо справляются с такими задачами, как онлайн-аукционы или игры, и оценить их потенциал для практического использования.
#realtime-bench#low-latency#language model#ai research
