RealFeedApp beta
- В процессе обучения модели резко меняются вычислительные режимы
Исследование показывает, что во время предобучения языковые модели резко переключаются между паттерн-матчингом и общим интеллектом, что не объясняется стандартной оптимизацией.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи создали набор тестов и обнаружили, что во время обучения языковых моделей они внезапно переключаются между запоминанием шаблонов и реальным пониманием, используя интуитивное мышление вместо логического.
- Зачем это
- Это важно для понимания того, как именно формируются способности моделей, так как стандартные методы оптимизации не могут объяснить эти резкие скачки в поведении.
#language model#pre-training#generalization#mode-hopping#system 1#system 2
