Sign In

Representation Without Reward: A JEPA Audit for LLM Fine-Tuning

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Biswa Sengupta

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” Joint-embedding predictive architectures (JEPAs)κ°€ 잠재 ν‘œν˜„ μ˜ˆμΈ‘μ„ 톡해 더 μœ μš©ν•œ 좔상화λ₯Ό ν•™μŠ΅ν•  수 μžˆλ‹€λŠ” 가섀을 μ–Έμ–΄ λͺ¨λΈ λ―Έμ„Έ 쑰정에 μ μš©ν•©λ‹ˆλ‹€. 특히, Llama-3.2-1B-Instruct λͺ¨λΈκ³Ό LoRAλ₯Ό μ‚¬μš©ν•˜μ—¬ μžμ—°μ–΄-μ •κ·œ ν‘œν˜„μ‹ 생성 μž‘μ—…μ—μ„œ 22가지 보쑰 ν›ˆλ ¨ κΈ°λ²•μ˜ 효과λ₯Ό ν‰κ°€ν–ˆμ§€λ§Œ, λŒ€λΆ€λΆ„μ˜ 기법은 톡계적 μœ μ˜μ„±μ„ ν™•λ³΄ν•˜μ§€ λͺ»ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
보쑰 ν›ˆλ ¨ 기법듀은 λͺ¨λΈμ˜ 잠재 ν‘œν˜„ κΈ°ν•˜ν•™μ  ꡬ쑰에 영ν–₯을 λ―ΈμΉ˜μ§€λ§Œ, λ””μ½”λ”μ˜ μž‘μ—… μ„±λŠ₯ ν–₯μƒκ³ΌλŠ” μ•½ν•œ 상관관계λ₯Ό λ³΄μž…λ‹ˆλ‹€.
β€’
디코더가 λ³Ό 수 μžˆλŠ” JEPA λͺ©ν‘œλŠ” 긍정적인 보쑰-ꡐ차 μ—”νŠΈλ‘œν”Ό 기울기 코사인 값을 λ³΄μ—¬μ£Όμ—ˆμœΌλ‚˜, μ‹€μ œ μž‘μ—… μ •ν™•λ„μ—μ„œλŠ” μœ μ˜λ―Έν•œ κ°œμ„ μ„ μ΄λŒμ–΄λ‚΄μ§€ λͺ»ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
λ³Έ 연ꡬ κ²°κ³ΌλŠ” LLM λ―Έμ„Έ μ‘°μ •μ—μ„œ 잠재 ν‘œν˜„ ν•™μŠ΅κ³Ό μ΅œμ’… μž‘μ—… 정확도 κ°„μ˜ μ•½ν•œ 결합을 μ‹œμ‚¬ν•˜λ©°, JEPA 평가λ₯Ό 잠재 ν‘œν˜„ κΈ°ν•˜ν•™μ΄ μž‘μ—… μ‹ ν˜Έλ‘œ μ „ν™˜λ˜λŠ” 'κ²°ν•© 문제'둜 μž¬ν•΄μ„ν•  ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
β€’
LoRA와 전체 λ―Έμ„Έ μ‘°μ • λͺ¨λ‘μ—μ„œ μœ μ‚¬ν•œ κ²°κ³Όκ°€ λ‚˜νƒ€λ‚˜, 디코더 κ°€μ‹œμ„± JEPA ꡬ성에 λŒ€ν•œ null κ²°κ³Όκ°€ 강건함을 λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬λŠ” μ–΄λ–€ λ©”νŠΈλ¦­ ν•˜μ—μ„œ μœ μš©ν•œ 잠재 ν‘œν˜„ κΈ°ν•˜ν•™μ΄ 디코더 κ°€μ‹œ μž‘μ—… μ‹ ν˜Έλ‘œ μ „ν™˜λ˜λŠ”μ§€μ— λŒ€ν•œ 탐ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage