HackerNews

LeJEPA: ヒューリスティックなしの証明可能でスケーラブルな自己教師あり学習

LeJEPA

https://arxiv.org/abs/2511.08544


LeJEPAは、AIにおける世界の操作可能な表現とそのダイナミクスの学習を中心にした新たな自己教師あり学習のフレームワークです。JEPAs(Joint-Embedding Predictive Architectures)の理論に基づき、最適な埋め込み分布として等方的ガウス分布を特定し、それに基づく新しい目的である「Sketched Isotropic Gaussian Regularization(SIGReg)」を提案します。これにより、埋め込みが理想的な分布に達するよう制約を掛けることが可能となります。LeJEPAは、単一のトレードオフハイパーパラメータ、線形の時間およびメモリの複雑性、さまざまなハイパーパラメータやアーキテクチャに対する安定性、ヒューリスティックを用いない設計など、多くの理論的および実践的利点を備えています。実証研究では、10以上のデータセットと60以上のアーキテクチャをカバーし、特にimagenet-1kを用いた事例では79%の精度を達成しています。