Sign In

FAR: Function-preserving Attention Replacement for IMC-friendly Inference

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yuxin Ren, Maxwell D Collins, Miao Hu, Huanrui Yang

πŸ’‘ κ°œμš”

λ³Έ 논문은 트랜슀포머 λͺ¨λΈμ˜ μ–΄ν…μ…˜ λ©”μ»€λ‹ˆμ¦˜μ΄ 인메λͺ¨λ¦¬ μ»΄ν“¨νŒ…(IMC) μž₯μΉ˜μ— μ ν•©ν•˜μ§€ μ•Šμ€ 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ μ œμ•ˆλœ FAR (Function-preserving Attention Replacement) ν”„λ ˆμž„μ›Œν¬λ₯Ό μ†Œκ°œν•©λ‹ˆλ‹€. FAR은 사전 ν•™μŠ΅λœ DeiT λͺ¨λΈμ˜ μ–΄ν…μ…˜μ„ IMC에 μΉœν™”μ μΈ 순차적 λͺ¨λ“ˆλ‘œ λŒ€μ²΄ν•˜μ—¬, κΈ°λŠ₯적 동등성을 μœ μ§€ν•˜λ©΄μ„œλ„ μ„ ν˜• μ‹œκ°„ λ³΅μž‘λ„μ™€ 지역적 κ°€μ€‘μΉ˜ μž¬μ‚¬μš©μ„ κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€. μ œμ•ˆλœ 방법은 ꡬ쑰적 κ°€μ§€μΉ˜κΈ°λ₯Ό 톡해 λ¦¬μ†ŒμŠ€ μ œμ•½μ΄ μžˆλŠ” IMC 배열에 μœ μ—°ν•˜κ²Œ 적용될 수 있으며, 이미지넷 및 λ‹€μ–‘ν•œ λ‹€μš΄μŠ€νŠΈλ¦Ό μž‘μ—…μ—μ„œ κΈ°μ‘΄ λͺ¨λΈκ³Ό μœ μ‚¬ν•œ 정확도λ₯Ό μœ μ§€ν•˜λ©΄μ„œ λ§€κ°œλ³€μˆ˜μ™€ 지연 μ‹œκ°„μ„ μ€„μ΄λŠ” μ„±κ³Όλ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
κΈ°μ‘΄ 트랜슀포머의 μ–΄ν…μ…˜ λ©”μ»€λ‹ˆμ¦˜μ„ IMC μž₯μΉ˜μ— μ΅œμ ν™”λœ 순차적 λͺ¨λ“ˆλ‘œ λŒ€μ²΄ν•˜μ—¬ μ—λ„ˆμ§€ 효율적인 엣지 AI μΆ”λ‘  κ°€λŠ₯성을 μ—΄μ—ˆμŠ΅λ‹ˆλ‹€.
β€’
블둝별 증λ₯˜ 기법을 톡해 μ–΄ν…μ…˜μ˜ 의미둠적 토큰 관계λ₯Ό λ³΄μ‘΄ν•˜λ©΄μ„œλ„ μ—°μ‚° νš¨μœ¨μ„±μ„ 크게 ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ FAR λͺ¨λΈμ€ λ¦¬μ†ŒμŠ€ μ œμ•½μ΄ μžˆλŠ” IMC ν™˜κ²½μ— 맞게 μœ μ—°ν•˜κ²Œ 쑰정될 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬μ—μ„œλŠ” 더 λ³΅μž‘ν•œ 트랜슀포머 μ•„ν‚€ν…μ²˜ 및 λ‹€μ–‘ν•œ IMC ν•˜λ“œμ›¨μ–΄ ν”Œλž«νΌμ—μ„œμ˜ FAR의 μ„±λŠ₯κ³Ό ν™•μž₯성을 검증할 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage