RealFeedApp JEPAs beweisen den Satz vom platonischen Repräsentationstheorem
Die Studie beweist, dass Joint-Embedding Predictive Architectures (JEPAs) auf verschiedenen Modalitäten dieselbe Repräsentation lernen, wenn ihre positiven Paare Szenenbilder sind. Dies gilt nur, wenn die Ansichten gut sind und die Missalignierung begrenzt ist.
- Bereich
- wie neuronale Netze funktionieren
- Was gemacht wurde
- Die Forscher haben bewiesen, dass Modelle, die auf verschiedenen Datenarten (z. B. Text und Bilder) trainiert werden, bei ausreichender Größe dieselbe interne Darstellung der Welt lernen. Sie haben dies mit einer mathematischen Theorie für Joint-Embedding Predictive Architectures (JEPAs) gezeigt, die unter bestimmten Bedingungen eine einzige Rotation unterscheiden.
- Warum es wichtig ist
- Dies erklärt, warum Sprachmodelle mit Vision-Modellen nur durch ihre Größe (Skalierung) übereinstimmen, wenn sie mit unterschiedlichen Datenarten trainiert wurden.
#jepa#platonic representation hypothesis#multi-modal#representation learning
