Sign In

Generalization or Memorization? Brittleness Testing for Chess-Trained Language Models

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Ethan Tang

πŸ’‘ κ°œμš”

λ³Έ 논문은 체슀 λ°μ΄ν„°λ‘œ λ―Έμ„Έ μ‘°μ •λœ μ–Έμ–΄ λͺ¨λΈμ΄ 체슀 κ·œμΉ™μ„ μ΄ν•΄ν•˜κ³  μ „λ¬Έκ°€ μˆ˜μ€€μœΌλ‘œ ν”Œλ ˆμ΄ν•˜λŠ” λŠ₯λ ₯이 μžˆλ‹€κ³  μ£Όμž₯ν•˜λŠ” κΈ°μ‘΄ 연ꡬ에 μ˜λ¬Έμ„ μ œκΈ°ν•©λ‹ˆλ‹€. 연ꡬ진은 (ν¬μ§€μ…˜, 졜적 수) 쌍으둜 ν•™μŠ΅λœ 25M λ§€κ°œλ³€μˆ˜μ˜ KinGPTκ°€ 더 큰 λͺ¨λΈλ“€μ„ λŠ₯κ°€ν•˜λŠ” μ„±λŠ₯을 λ³΄μ˜€μœΌλ‚˜, μ΄λŠ” 주둜 νŒ¨ν„΄ 맀칭에 μ˜ν•œ κ²ƒμž„μ„ λ°ν˜€λƒˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, LLM-Modulo ν”„λ ˆμž„μ›Œν¬λ₯Ό 톡해 일반 LLMκ³Ό μ™ΈλΆ€ 검증기λ₯Ό κ²°ν•©ν•˜λ©΄ 적은 λΉ„μš©μœΌλ‘œλ„ 체슀 퍼즐에 λŒ€ν•œ μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚¬ 수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
체슀 λ°μ΄ν„°λ‘œ λ―Έμ„Έ μ‘°μ •λœ μ–Έμ–΄ λͺ¨λΈμ˜ 높은 벀치마크 μ„±λŠ₯은 μ‹€μ œ 체슀 μ΄ν•΄λ³΄λ‹€λŠ” νŒ¨ν„΄ 맀칭에 μ˜ν•œ 것일 κ°€λŠ₯성이 λ†’μŠ΅λ‹ˆλ‹€.
β€’
일반 LLM에 μ™ΈλΆ€ 검증기λ₯Ό κ²°ν•©ν•˜λŠ” 방식은 νŠΉμ • 도메인에 λŒ€ν•œ 직접적인 데이터 ν•™μŠ΅λ³΄λ‹€ μœ μ—°ν•˜κ³  효율적인 λŒ€μ•ˆμ΄ 될 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬μ—μ„œ μ‚¬μš©λœ KinGPT λͺ¨λΈμ€ 25Mμ΄λΌλŠ” 비ꡐ적 μž‘μ€ ν¬κΈ°μž„μ—λ„ λΆˆκ΅¬ν•˜κ³  λ›°μ–΄λ‚œ μ„±λŠ₯을 보여, λͺ¨λΈ ν¬κΈ°λ³΄λ‹€λŠ” ν•™μŠ΅ λ°©μ‹μ˜ μ€‘μš”μ„±μ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
ν•œκ³„μ μœΌλ‘œλŠ”, λ³Έ μ—°κ΅¬λŠ” 주둜 체슀 퍼즐에 λŒ€ν•œ μ„±λŠ₯을 ν‰κ°€ν•˜μ˜€μœΌλ©°, μ‹€μ œ 체슀 κ²Œμž„ ν”Œλ ˆμ΄ λŠ₯λ ₯μ΄λ‚˜ λ³΅μž‘ν•œ μ „λž΅μ  이해에 λŒ€ν•œ 깊이 μžˆλŠ” 뢄석은 λΆ€μ‘±ν•  수 μžˆμŠ΅λ‹ˆλ‹€. ν–₯ν›„μ—λŠ” 더 넓은 λ²”μœ„μ˜ 체슀 κ΄€λ ¨ νƒœμŠ€ν¬μ— λŒ€ν•œ 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage