RealFeedApp beta

Средний балл участников — 83,7%

В тесте SimpleBench, где вопросы требуют знаний средней школы, люди набрали 83,7%, а топовая модель Claude Fable — 81,9%.

Область
обучение языковых моделей
Что сделали
Исследователи создали тест SimpleBench, состоящий из более чем 200 вопросов, на котором люди без специальной подготовки (школьники) набирают 83,7% баллов, в то время как лучшие языковые модели, включая Claude Fable, показывают 81,9%.
Зачем это
Это позволяет оценить, насколько современные модели уступают людям в задачах, требующих пространственно-временного рассуждения, социальной интуиции и защиты от обмана, в отличие от большинства других тестов, где модели превосходят людей.
#llm#simplebench#claude#reasoning

Читать оригинал →