Sign In

A Markov Categorical Framework for Language Modeling

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yifan Zhang

πŸ’‘ κ°œμš”

λ³Έ 논문은 μžκΈ°νšŒκ·€ μ–Έμ–΄ λͺ¨λΈμ˜ λ‚΄λΆ€ λ©”μ»€λ‹ˆμ¦˜, ν›ˆλ ¨μ΄ ν‘œν˜„μ„ ν˜•μ„±ν•˜λŠ” 방식, 그리고 μ΄λŸ¬ν•œ ν‘œν˜„μ΄ λ³΅μž‘ν•œ 행동을 μ§€μ›ν•˜λŠ” 이유λ₯Ό μ„€λͺ…ν•˜λŠ” ν†΅μΌλœ 이둠의 λΆ€μž¬λ₯Ό ν•΄κ²°ν•˜κ³ μž ν•©λ‹ˆλ‹€. 마λ₯΄μ½”ν”„ λ²”μ£Ό μ–Έμ–΄λ₯Ό μ‚¬μš©ν•˜μ—¬ 단일 μŠ€ν… 생성 과정을 정보 처리 λ‹¨κ³„μ˜ ν•©μ„±μœΌλ‘œ λͺ¨λΈλ§ν•˜λŠ” 뢄석 ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•˜λ©°, 이λ₯Ό 톡해 ν›ˆλ ¨ λͺ©ν‘œ, ν•™μŠ΅λœ ν‘œν˜„ κ³΅κ°„μ˜ κΈ°ν•˜ν•™, μ‹€μ œ λͺ¨λΈ λŠ₯λ ₯ κ°„μ˜ 연결성을 μ œμ‹œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ³Έ ν”„λ ˆμž„μ›Œν¬λŠ” λ‹€μŒ ν† ν°λΏλ§Œ μ•„λ‹ˆλΌ κ·Έ μ΄ν›„μ˜ 토큰에 λŒ€ν•œ 은닉 μƒνƒœμ˜ 정보 μž‰μ—¬λŸ‰μ„ μ •λŸ‰ν™”ν•¨μœΌλ‘œμ¨, 예츑 λ””μ½”λ”©κ³Ό 같은 병렬 λ“œλž˜ν”„νŒ… 방식에 λŒ€ν•œ 정보 이둠적 κ·Όκ±°λ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
ν‘œμ€€ NLL(Negative Log-Likelihood) λͺ©ν‘œκ°€ λ‹¨μˆœνžˆ κ°€μž₯ κ°€λŠ₯μ„± 높은 λ‹€μŒ ν† ν°λΏλ§Œ μ•„λ‹ˆλΌ λ°μ΄ν„°μ˜ κ³ μœ ν•œ 쑰건뢀 λΆˆν™•μ‹€μ„±κΉŒμ§€ ν•™μŠ΅ν•œλ‹€λŠ” 것을 범주적 μ—”νŠΈλ‘œν”Όλ₯Ό 톡해 λͺ…ν™•νžˆ ν•©λ‹ˆλ‹€.
β€’
μ„ ν˜•-μ†Œν”„νŠΈλ§₯슀 ν—€λ“œμ™€ μœ κ³„ 좜λ ₯ νŠΉμ§•μ— λŒ€ν•΄, NLL에 λŒ€ν•œ λ³΄μ •λœ 2μ°¨ μƒν•œ λŒ€λ¦¬ ν•¨μˆ˜λŠ” ν‘œν˜„ λ°©ν–₯을 예츑 ν”„λ‘œν† νƒ€μž…μ— λ§žμΆ”λŠ” μΌλ°˜ν™”λœ CCA/κ³ μœ κ°’ 문제둜 이어짐을 λ³΄μ—¬μ€λ‹ˆλ‹€.
πŸ‘
Made with Slashpage