RealFeedApp JEPAs обучают одинаковое представление до вращения
Исследователи доказали теорему о том, что модели JEPAs, обученные на разных модальностях, сходятся к одному представлению мира при ограниченном смещении. Это объясняет, почему языковые модели синхронизируются с визуальными только за счет масштаба.
- Область
- как устроены нейросети
- Что сделали
- Исследователи доказали теорему, согласно которой модели, обученные на разных типах данных, учат одинаковое представление мира, если их данные описывают одно и то же сценарий.
- Зачем это
- Это позволяет гарантировать, что языковые модели будут согласованы с визуальными данными не только за счет размера, но и благодаря математическому сходству в их внутреннем представлении.
#jepa#platonic representation hypothesis#multi-modal#representation learning
