둜그인

Reasoning Can Be Restored by Correcting a Few Decision Tokens

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
λΉ„μ–΄ 있음

μ €μž

Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λŒ€ν˜• μΆ”λ‘  λͺ¨λΈ(LRM)κ³Ό κΈ°λ³Έ LLM κ°„μ˜ μΆ”λ‘  μ„±λŠ₯ 격차가 주둜 초반의 μ†Œμˆ˜ μ˜μ‚¬κ²°μ • ν† ν°μ—μ„œ λ°œμƒν•¨μ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 핡심 토큰듀을 μ‹λ³„ν•˜κ³ , μΆ”λ‘  λͺ¨λΈμ΄ ν•΄λ‹Ή ν† ν°μ—μ„œλ§Œ κ°œμž…ν•˜μ—¬ κΈ°λ³Έ λͺ¨λΈμ˜ 잘λͺ»λœ νŒλ‹¨μ„ λ°”λ‘œμž‘λŠ” κ°„λ‹¨ν•œ μΆ”λ‘  μ‹œκ°„ 기법을 μ œμ•ˆν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 적은 μžμ›μœΌλ‘œλ„ LRMκ³Ό μœ μ‚¬ν•˜κ±°λ‚˜ 더 λ‚˜μ€ μ„±λŠ₯을 달성할 수 μžˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μΆ”λ‘  μ„±λŠ₯의 핡심이 μ†Œμˆ˜μ˜ 초기 μ˜μ‚¬κ²°μ • 토큰에 μ§‘μ€‘λ˜μ–΄ μžˆμŒμ„ λ°ν˜€, λͺ¨λΈμ˜ λΆˆν™•μ‹€μ„±μ΄ 높은 뢀뢄에 λŒ€ν•œ 효율적인 집쀑 뢄석 및 κ°œμ„ μ˜ κ°€λŠ₯성을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
적은 κ°œμž…μœΌλ‘œ μΆ”λ‘  μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚€λŠ” 'disagreement-guided token intervention' 기법은 λͺ¨λΈ 크기 λŒ€λΉ„ 효율적인 μ„±λŠ₯ κ°œμ„  μ „λž΅μœΌλ‘œ ν™œμš©λ  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법은 'one-token takeover'λΌλŠ” λ‹¨μˆœν•œ κ°œμž… 방식에 μ˜μ‘΄ν•˜λ―€λ‘œ, λ³΅μž‘ν•˜κ±°λ‚˜ 닀단계적인 였λ₯˜ μˆ˜μ •μ—λŠ” ν•œκ³„κ°€ μžˆμ„ 수 있으며, 고차원적인 μΆ”λ‘  λ¬Έμ œμ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯은 μΆ”κ°€ 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Slashpage둜 μ œμž‘λ¨