Sign In

Into the Rabbit Hull: From Task-Relevant Concepts in DINO to Minkowski Geometry

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Thomas Fel, Binxu Wang, Michael A. Lepori, Matthew Kowal, Andrew Lee, Randall Balestriero, Sonia Joseph, Ekdeep S. Lubana, Talia Konkle, Demba Ba, Martin Wattenberg

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” DINOv2 λͺ¨λΈμ΄ μΈμ‹ν•˜λŠ” κ°œλ…μ˜ λ³Έμ§ˆμ„ 규λͺ…ν•˜κΈ° μœ„ν•΄ μ„ ν˜• ν‘œν˜„ κ°€μ„€(LRH)을 λ°”νƒ•μœΌλ‘œ SAE(Sparse Autoencoder)λ₯Ό ν™œμš©ν•˜μ—¬ 32,000개의 κ°œλ… 사전(dictionary)을 κ΅¬μΆ•ν•˜κ³  λΆ„μ„ν–ˆμŠ΅λ‹ˆλ‹€. 이λ₯Ό 톡해 λΆ„λ₯˜, λΆ„ν• , 깊이 μΆ”μ • λ“± λ‹€μ–‘ν•œ λ‹€μš΄μŠ€νŠΈλ¦Ό μž‘μ—…μ—μ„œ κ°œλ…μ˜ κΈ°λŠ₯적 νŠΉμˆ˜ν™”, κΈ°ν•˜ν•™μ  ꡬ쑰, 그리고 톡계적 νŠΉμ„±μ„ λ°ν˜€λƒˆμœΌλ©°, μ΅œμ’…μ μœΌλ‘œ μ΄λŸ¬ν•œ 관찰을 λ°”νƒ•μœΌλ‘œ κ°œλ…μ΄ μ•„ν‚€νƒ€μž…μ˜ 볼둝 ν˜Όν•©λ¬Όλ‘œ κ΅¬μ„±λœλ‹€λŠ” λ―Όμ½”ν”„μŠ€ν‚€ ν‘œν˜„ κ°€μ„€(MRH)을 μ œμ•ˆν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
DINOv2의 각 κ°œλ…(token)이 νŠΉμ • μž‘μ—…μ—μ„œ μ–΄λ–»κ²Œ ν™œμš©λ˜λŠ”μ§€ κΈ°λŠ₯적 νŠΉμˆ˜μ„±μ„ λ°ν˜€λ‚΄μ–΄ λͺ¨λΈ 이해λ₯Ό μ¦μ§„μ‹œμΌ°μŠ΅λ‹ˆλ‹€.
β€’
λͺ¨λΈμ΄ μ„ ν˜•μ  ν¬μ†Œμ„±λΏλ§Œ μ•„λ‹ˆλΌ, μ•„ν‚€νƒ€μž…μ˜ 볼둝 ν˜Όν•©λ¬Όμ΄λΌλŠ” κΈ°ν•˜ν•™μ  ꡬ쑰λ₯Ό 톡해 κ°œλ…μ„ ν‘œν˜„ν•¨μ„ μ œμ‹œν•˜λ©° μƒˆλ‘œμš΄ ν•΄μ„μ˜ 틀을 μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ―Όμ½”ν”„μŠ€ν‚€ ν‘œν˜„ κ°€μ„€(MRH)은 μ‹œκ° 트랜슀포머 ν‘œν˜„ 해석에 λŒ€ν•œ μƒˆλ‘œμš΄ λ°©ν–₯을 μ œμ‹œν•˜λ©°, ν–₯ν›„ λͺ¨λΈ 해석 연ꡬ에 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν˜„μž¬ μ—°κ΅¬λŠ” DINOv2 λͺ¨λΈμ— κ΅­ν•œλ˜μ–΄ 있으며, λ‹€λ₯Έ λΉ„μ „ 트랜슀포머 λͺ¨λΈλ‘œμ˜ μΌλ°˜ν™” κ°€λŠ₯μ„± 및 MRH의 이둠적, 싀증적 검증을 심화할 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage