Sign In

Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

Created by
  • Haebom
Category
Empty

μ €μž

Yuxuan Wan, Tianqing Fang, Zaitang Li, Yintong Huo, Wenxuan Wang, Haitao Mi, Dong Yu, Michael R. Lyu

πŸ’‘ κ°œμš”

λ³Έ 논문은 기쑴의 λ”₯ λ¦¬μ„œμΉ˜ μ—μ΄μ „νŠΈ(DRA)κ°€ μ •μ±… μ—­λŸ‰ κ°•ν™”λ₯Ό μœ„ν•΄ 사후 ν›ˆλ ¨μ— μ§‘μ€‘ν•˜λŠ” 것과 달리, ν…ŒμŠ€νŠΈ μ‹œμ  루브릭 κ°€μ΄λ“œ 기반 검증을 톡해 μ—μ΄μ „νŠΈ 슀슀둜 λ°œμ „ν•˜λŠ” μƒˆλ‘œμš΄ νŒ¨λŸ¬λ‹€μž„μ„ μ œμ•ˆν•©λ‹ˆλ‹€. DRA의 μ‹€νŒ¨ μœ ν˜•μ„ μ²΄κ³„μ μœΌλ‘œ λΆ„λ₯˜ν•œ 'DRA μ‹€νŒ¨ λΆ„λ₯˜λ²•'을 기반으둜 μžλ™ μƒμ„±λœ λ£¨λΈŒλ¦­μ„ ν™œμš©ν•˜λŠ” DeepVerifierλŠ” μ—μ΄μ „νŠΈκ°€ μƒμ„±ν•œ 닡변을 ν‰κ°€ν•˜μ—¬ 반볡적인 ν”Όλ“œλ°±κ³Ό κ°œμ„ μ„ 톡해 슀슀둜 λŠ₯λ ₯을 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ”₯ λ¦¬μ„œμΉ˜ μ—μ΄μ „νŠΈμ˜ 자체적인 μ„±λŠ₯ ν–₯상을 μœ„ν•œ μƒˆλ‘œμš΄ ν…ŒμŠ€νŠΈ-νƒ€μž„ 검증 및 κ°œμ„  λ©”μ»€λ‹ˆμ¦˜μ„ μ œμ‹œν•©λ‹ˆλ‹€.
β€’
기쑴의 'μ—μ΄μ „νŠΈ-νŒμ‚¬' λ˜λŠ” 'LLM νŒμ‚¬' 방식보닀 λ›°μ–΄λ‚œ μ„±λŠ₯을 λ³΄μ΄λŠ” 루브릭 기반 검증 λͺ¨λΈ(DeepVerifier)을 κ°œλ°œν•˜κ³ , 이λ₯Ό 톡해 μ‹€μ œ 벀치마크 λ°μ΄ν„°μ…‹μ—μ„œ 정확도λ₯Ό ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.
β€’
μ˜€ν”ˆμ†ŒμŠ€ λͺ¨λΈμ˜ 검증 λŠ₯λ ₯ κ°•ν™”λ₯Ό μ§€μ›ν•˜κΈ° μœ„ν•œ 데이터셋(DeepVerifier-4K)을 κ³΅κ°œν•˜μ—¬ κ΄€λ ¨ 연ꡬ λ°œμ „μ— κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
루브릭 μ„€κ³„μ˜ μžλ™ν™” 및 μΌλ°˜ν™” κ°€λŠ₯μ„±κ³Ό, λ³΅μž‘ν•˜κ³  λ―Έλ¬˜ν•œ μ‹€νŒ¨ μœ ν˜•μ— λŒ€ν•œ κ²€μ¦μ˜ 정확도λ₯Ό λ”μš± λ†’μ΄λŠ” 것이 ν–₯ν›„ 과제둜 λ‚¨μŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage