Sign In

Verifier-Backed Hard Problem Generation for Mathematical Reasoning

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yuhang Lai, Jiazhan Feng, Yee Whye Teh, Ning Miao

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM이 μœ νš¨ν•˜κ³  도전적인 μˆ˜ν•™ 문제λ₯Ό μƒμ„±ν•˜λŠ” 데 어렀움을 κ²ͺλŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ Verifier-Backed Hard Problem Generation (VHG) ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. VHGλŠ” 독립적인 κ²€μ¦μž(verifier)λ₯Ό 문제 μƒμ„±μž(setter)와 ν•΄κ²°μž(solver)의 μ‚Όμž μ…€ν”„ ν”Œλ ˆμ΄(three-party self-play)에 ν†΅ν•©ν•˜μ—¬, 문제의 μœ νš¨μ„±κ³Ό λ‚œμ΄λ„λ₯Ό λ™μ‹œμ— κ³ λ €ν•˜λ„λ‘ ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, VHGλŠ” κΈ°μ‘΄ 방법둠 λŒ€λΉ„ λͺ…ν™•ν•˜κ²Œ μš°μˆ˜ν•œ μ„±λŠ₯을 λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 기반 μˆ˜ν•™ 문제 μƒμ„±μ—μ„œ κ²€μ¦μžμ˜ λ„μž…μ€ 문제의 μœ νš¨μ„±κ³Ό λ‚œμ΄λ„ κ· ν˜•μ„ λ§žμΆ”λŠ” 데 효과적인 μ „λž΅μž…λ‹ˆλ‹€.
β€’
ν•˜λ“œ/μ†Œν”„νŠΈ κ²€μ¦μž λͺ¨λ‘ 적용 κ°€λŠ₯함을 보여주며, λ‹€μ–‘ν•œ μˆ˜ν•™μ  μΆ”λ‘  μž‘μ—…μ— λŒ€ν•œ μΌλ°˜ν™” κ°€λŠ₯성을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
ν˜„μž¬λŠ” 주둜 적뢄 및 일반 μˆ˜ν•™ μΆ”λ‘  μž‘μ—…μ— λŒ€ν•œ 평가가 μ΄λ£¨μ–΄μ‘ŒμœΌλ©°, 더 λ³΅μž‘ν•˜κ±°λ‚˜ μƒˆλ‘œμš΄ λΆ„μ•Όμ˜ 문제 생성에 λŒ€ν•œ ν™•μž₯ 및 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage