Sign In

The Topological Trouble With Transformers

Created by
  • Haebom
Category
Empty

μ €μž

Michael C. Mozer, Shoaib Ahmed Siddiqui, Rosanne Liu

πŸ’‘ κ°œμš”

λ³Έ 논문은 트랜슀포머의 순수 ν”Όλ“œν¬μ›Œλ“œ ꡬ쑰가 동적 μƒνƒœ 좔적을 근본적으둜 μ œν•œν•˜μ—¬, μž…λ ₯ μ‹œν€€μŠ€κ°€ κΈΈμ–΄μ§ˆμˆ˜λ‘ 정보 손싀 및 λͺ¨λΈ 깊이의 ν•œκ³„λ₯Ό μ•ΌκΈ°ν•œλ‹€λŠ” 문제λ₯Ό μ œκΈ°ν•©λ‹ˆλ‹€. 이에 λŒ€ν•œ ν•΄κ²°μ±…μœΌλ‘œ μ™ΈλΆ€ μ €μž₯ 곡간 μ‚¬μš©μ˜ λΉ„νš¨μœ¨μ„±μ„ μ§€μ ν•˜λ©°, 암묡적인 ν™œμ„±ν™” 동학을 ν™œμš©ν•˜λŠ” μˆœν™˜ ꡬ쑰둜의 μ „ν™˜μ„ μ œμ•ˆν•©λ‹ˆλ‹€. 논문은 μˆœν™˜ 및 연속 사고 트랜슀포머의 λΆ„λ₯˜ 체계λ₯Ό μ œμ‹œν•˜κ³ , μƒνƒœ 좔적 λŠ₯λ ₯을 ν–₯μƒμ‹œν‚€κΈ° μœ„ν•œ 연ꡬ λ°©ν–₯을 νƒμƒ‰ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
트랜슀포머의 정보 처리 방식에 λ‚΄μž¬λœ 동적 μƒνƒœ μΆ”μ μ˜ 근본적인 ν•œκ³„λ₯Ό λͺ…ν™•νžˆ μ§„λ‹¨ν•©λ‹ˆλ‹€.
β€’
μˆœν™˜ 신경망 ꡬ쑰λ₯Ό 톡해 트랜슀포머의 μƒνƒœ 좔적 λŠ₯λ ₯을 ν–₯μƒμ‹œν‚¬ 수 μžˆλŠ” μƒˆλ‘œμš΄ 관점을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λΆ„λ₯˜ 체계와 연ꡬ λ°©ν–₯은 ν–₯ν›„ 트랜슀포머 기반 λͺ¨λΈμ˜ μƒνƒœ 좔적 μ„±λŠ₯ κ°œμ„ μ— κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ…Όλ¬Έμ—μ„œ μ œμ‹œν•˜λŠ” μˆœν™˜ ꡬ쑰의 ꡬ체적인 κ΅¬ν˜„ 및 νš¨μœ¨μ„± 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘