每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

高斯嵌入:JEPA 如何秘密学习数据密度

Created by
  • Haebom

作者

兰德尔·巴莱斯特里罗、尼古拉斯·巴拉斯、迈克·拉巴特、Yann LeCun

大纲

联合嵌入预测架构 (JEPA) 学习的表示可以轻松解决各种下游任务。JEPA 将潜在空间预测项与崩溃预防项相结合。本文论证了 JEPA 中的崩溃预防项可以估算数据密度。成功训练的 JEPA 可用于获取样本概率,从而进行数据管理、异常值检测或密度估计。我们将此方法称为 JEPA-SCORE,它能够使用模型的雅可比矩阵高效地计算样本 x 的学习概率,而不受数据集或架构的限制。

Takeaways,Limitations

我们揭示了 JEPA 的崩溃预防条款估计数据密度的新发现。
JEPA-SCORE 可用于数据管理、异常值检测和密度估计。
提出一种独立于数据集和架构的通用方法。
通过应用于I-JEPA、DINOv2、MetaCLIP等各种模型进行验证。
依赖于计算模型的雅可比矩阵。
👍