Sign In

Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

Created by
  • Haebom
Category
Empty

μ €μž

Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” μ–Έμ–΄ λͺ¨λΈ(LM)이 λ¬Έμž₯의 κ°€λŠ₯μ„±, λΆˆκ°€λŠ₯μ„±, 비논리성 등을 νŒλ‹¨ν•˜λŠ” λŠ₯λ ₯, 즉 μ–‘νƒœ λ²”μ£Όν™”(modal categorization) λŠ₯λ ₯을 νƒκ΅¬ν•©λ‹ˆλ‹€. 연ꡬ진은 LM의 ν™œμ„±ν™” κ°’μ—μ„œ μ–‘νƒœ λ²”μ£Όλ₯Ό κ΅¬λΆ„ν•˜λŠ” μ„ ν˜• ν‘œν˜„μΈ 'μ–‘νƒœ 차이 벑터(modal difference vectors)'λ₯Ό λ°œκ²¬ν–ˆμœΌλ©°, 이λ₯Ό 톡해 LM이 이전 μ—°κ΅¬μ—μ„œ μ•Œλ €μ§„ 것보닀 더 μ‹ λ’°ν•  λ§Œν•œ μ–‘νƒœ νŒλ‹¨ λŠ₯λ ₯을 가지고 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€. λ˜ν•œ, μ΄λŸ¬ν•œ 벑터가 λͺ¨λΈμ˜ ν›ˆλ ¨ 단계, 계측, νŒŒλΌλ―Έν„° 수 증가에 따라 μΌκ΄€λœ μˆœμ„œλ‘œ λ‚˜νƒ€λ‚˜λ©°, LM의 μ–‘νƒœ νŒλ‹¨ λŠ₯λ ₯이 μΈκ°„μ˜ λ―Έλ¬˜ν•œ νŒλ‹¨ ν–‰νƒœλ₯Ό λͺ¨λΈλ§ν•˜λŠ” 데 μ‚¬μš©λ  수 μžˆμŒμ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ–Έμ–΄ λͺ¨λΈμ€ λ‹€μ–‘ν•œ ν›ˆλ ¨ μˆ˜μ€€κ³Ό 규λͺ¨μ—μ„œ 인간과 μœ μ‚¬ν•œ λ°©μ‹μœΌλ‘œ λ¬Έμž₯의 μ–‘νƒœλ₯Ό νŒλ‹¨ν•˜λŠ” λ‚΄λΆ€ ν‘œν˜„μ„ 가지고 μžˆμŠ΅λ‹ˆλ‹€.
β€’
'μ–‘νƒœ 차이 벑터'λŠ” μ–Έμ–΄ λͺ¨λΈμ˜ μ–‘νƒœ λ²”μ£Όν™” λ©”μ»€λ‹ˆμ¦˜μ„ μ΄ν•΄ν•˜κ³ , λ‚˜μ•„κ°€ μΈκ°„μ˜ μœ μ‚¬ν•œ 인지 과정을 νƒκ΅¬ν•˜λŠ” 데 μœ μš©ν•œ 도ꡬ가 될 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” νŠΉμ • μ–‘νƒœ 범주에 λŒ€ν•œ LM의 νŒλ‹¨μ„ λΆ„μ„ν•˜μ§€λ§Œ, μ–‘νƒœ νŒλ‹¨ μ „λ°˜μ— 걸친 LM의 포괄적인 μ΄ν•΄μ—λŠ” 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
β€’
μΈκ°„μ˜ μ–‘νƒœ νŒλ‹¨μ„ LM의 λ‚΄λΆ€ ν‘œν˜„κ³Ό μ—°κ΄€ μ§“λŠ” κ³Όμ •μ—μ„œ, μΈκ°„μ˜ νŒλ‹¨μ— 영ν–₯을 λ―ΈμΉ˜λŠ” λ‹€μ–‘ν•œ μš”μΈλ“€μ„ λͺ¨λ‘ κ³ λ €ν•˜μ§€λŠ” λͺ»ν–ˆμ„ 수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage