RealFeedApp beta

В процессе обучения модели резко меняются вычислительные режимы

Исследование показывает, что во время предобучения языковые модели резко переключаются между паттерн-матчингом и общим интеллектом, что не объясняется стандартной оптимизацией.

Область
обучение языковых моделей
Что сделали
Исследователи создали набор тестов и обнаружили, что во время обучения языковых моделей они внезапно переключаются между запоминанием шаблонов и реальным пониманием, используя интуитивное мышление вместо логического.
Зачем это
Это важно для понимания того, как именно формируются способности моделей, так как стандартные методы оптимизации не могут объяснить эти резкие скачки в поведении.
#language model#pre-training#generalization#mode-hopping#system 1#system 2

Читать оригинал →