Sign In

When to Think Fast and Slow? AMOR: Entropy-Based Metacognitive Gate for Dynamic SSM-Attention Switching

Created by
  • Haebom
Category
Empty

μ €μž

Haoran Zheng

πŸ’‘ κ°œμš”

λ³Έ 논문은 트랜슀포머의 κ· μΌν•œ μ—°μ‚° 방식과 SSM(State Space Model)의 μž₯거리 정보 검색 ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κΈ° μœ„ν•΄, μΈμ§€κ³Όν•™μ˜ 이쀑 κ³Όμ • μ΄λ‘ μ—μ„œ μ˜κ°μ„ 받은 AMOR (Adaptive Metacognitive Output Router) μ•„ν‚€ν…μ²˜λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. AMOR은 SSM의 예츑 μ—”νŠΈλ‘œν”Όλ₯Ό 톡해 "λΆˆν™•μ‹€μ„±"을 μΈ‘μ •ν•˜κ³ , 이 λΆˆν™•μ‹€μ„±μ΄ 높을 λ•Œλ§Œ ν¬μ†Œν•œ μ–΄ν…μ…˜μ„ λ™μ μœΌλ‘œ ν™œμ„±ν™”ν•˜μ—¬ μ—°μ‚° νš¨μœ¨μ„±μ„ λ†’μž…λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
AMOR은 SSM의 O(n) μ—°μ‚°κ³Ό μ–΄ν…μ…˜μ˜ O(n^2) 연산을 λ™μ μœΌλ‘œ κ²°ν•©ν•˜μ—¬, 특히 정보 검색이 ν•„μš”ν•œ μ‹œμ μ—λ§Œ μ–΄ν…μ…˜μ„ μ‚¬μš©ν•¨μœΌλ‘œμ¨ νš¨μœ¨μ„±κ³Ό μ„±λŠ₯을 λ™μ‹œμ— ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.
β€’
예츑 μ—”νŠΈλ‘œν”Όκ°€ 정보 κ²€μƒ‰μ˜ ν•„μš”μ„±μ„ λ‚˜νƒ€λ‚΄λŠ” μ‹ λ’°ν•  수 μžˆλŠ” μ§€ν‘œμž„μ„ μ‹€ν—˜μ μœΌλ‘œ μž…μ¦ν•˜μ˜€μœΌλ©°, 이λ₯Ό 톡해 정보 이둠적 κ΄€μ μ—μ„œ 해석 κ°€λŠ₯ν•œ μ μ‘ν˜• μ—°μ‚° 방식을 μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법은 ν•©μ„± λ°μ΄ν„°μ…‹μ—μ„œ λ›°μ–΄λ‚œ μ„±λŠ₯을 λ³΄μ˜€μœΌλ‚˜, μ‹€μ œ λ³΅μž‘ν•œ μžμ—°μ–΄ 처리 νƒœμŠ€ν¬μ—μ„œμ˜ μΌλ°˜ν™” μ„±λŠ₯ 및 λ‹€μ–‘ν•œ SSM μ•„ν‚€ν…μ²˜μ™€μ˜ 톡합 κ°€λŠ₯성에 λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage