Sign In

KARL: Knowledge Agents via Reinforcement Learning

Created by
  • Haebom
Category
Empty

μ €μž

Jonathan D. Chang, Andrew Drozdov, Shubham Toshniwal, Owen Oertell, Alexander Trott, Jacob Portes, Abhay Gupta, Pallavi Koppol, Ashutosh Baheti, Sean Kulinski, Ivan Zhou, Irene Dea, Krista Opsahl-Ong, Simon Favreau-Lessard, Sean Owen, Jose Javier Gonzalez Ortiz, Arnav Singhvi, Xabi Andrade, Cindy Wang, Kartik Sreenivasan, Sam Havens, Jialu Liu, Peyton DeNiro, Wen Sun, Michael Bendersky, Jonathan Frankle

πŸ’‘ κ°œμš”

λ³Έ 논문은 κ°•ν™”ν•™μŠ΅μ„ 톡해 κΈ°μ—… 검색 μ—μ΄μ „νŠΈλ₯Ό ν›ˆλ ¨ν•˜λŠ” μ‹œμŠ€ν…œμΈ KARL을 μ œμ•ˆν•˜λ©°, λ‹€μ–‘ν•œ κΉŒλ‹€λ‘œμš΄ 검증 μž‘μ—…μ—μ„œ μ΅œμ²¨λ‹¨ μ„±λŠ₯을 λ‹¬μ„±ν•©λ‹ˆλ‹€. KARL은 닀쀑 κΈ°λŠ₯ 평가 μŠ€μœ„νŠΈμΈ KARLBenchλ₯Ό μ†Œκ°œν•˜κ³ , 이질적인 검색 행동에 λŒ€ν•œ ν›ˆλ ¨μ΄ 단일 벀치마크 μ΅œμ ν™” λͺ¨λΈλ³΄λ‹€ μΌλ°˜ν™” μ„±λŠ₯이 뛰어남을 λ³΄μ—¬μ€λ‹ˆλ‹€. λ˜ν•œ, μž₯κΈ° μΆ”λ‘  및 도ꡬ μ‚¬μš©μ„ ν™œμš©ν•˜μ—¬ λ‹€μ–‘ν•˜κ³  κ²€μ¦λœ κ³ ν’ˆμ§ˆ ν›ˆλ ¨ 데이터λ₯Ό μƒμ„±ν•˜λŠ” μ—μ΄μ „νŠΈ ν•©μ„± νŒŒμ΄ν”„λΌμΈμ„ κ°œλ°œν–ˆμœΌλ©°, μƒ˜ν”Œ 효율적이고 κ²¬κ³ ν•œ 반볡적인 λŒ€κ·œλͺ¨ 배치 μ˜€ν”„ μ •μ±… κ°•ν™”ν•™μŠ΅ 기반의 ν›ˆλ ¨ ν›„ νŒ¨λŸ¬λ‹€μž„μ„ μ œμ•ˆν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
닀쀑 μž‘μ—… ν•™μŠ΅μ˜ μ€‘μš”μ„±: λ‹€μ–‘ν•œ 검색 μ‹œλ‚˜λ¦¬μ˜€λ₯Ό ν¬ν•¨ν•˜λŠ” 이질적인 λ°μ΄ν„°μ…‹μœΌλ‘œ ν›ˆλ ¨λœ λͺ¨λΈμ΄ 단일 λ²€μΉ˜λ§ˆν¬μ— μ΅œμ ν™”λœ λͺ¨λΈλ³΄λ‹€ λ›°μ–΄λ‚œ μΌλ°˜ν™” μ„±λŠ₯을 λ³΄μž„μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
ν•©μ„± 데이터 μƒμ„±μ˜ 효과: μ—μ΄μ „νŠΈ 자체의 μž₯κΈ° μΆ”λ‘  및 도ꡬ μ‚¬μš© λŠ₯λ ₯을 ν™œμš©ν•˜μ—¬ μƒμ„±λœ λ‹€μ–‘ν•˜κ³  κ²€μ¦λœ ν•©μ„± 데이터가 λͺ¨λΈ μ„±λŠ₯ ν–₯상에 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
효율적인 κ°•ν™”ν•™μŠ΅ ν›ˆλ ¨: μƒ˜ν”Œ 효율적이고 ν›ˆλ ¨-μΆ”λ‘  λΆˆμΌμΉ˜μ— κ°•κ±΄ν•˜λ©° λ©€ν‹°νƒœμŠ€ν¬ 및 뢄포 μ™Έ μΌλ°˜ν™”μ— μš©μ΄ν•œ μƒˆλ‘œμš΄ ν›„μ²˜λ¦¬ κ°•ν™”ν•™μŠ΅ ν›ˆλ ¨ 방식을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ„±λŠ₯ μš°μˆ˜μ„±: KARL은 λΉ„μš©-ν’ˆμ§ˆ 및 지연 μ‹œκ°„-ν’ˆμ§ˆ νŠΈλ ˆμ΄λ“œμ˜€ν”„μ—μ„œ KARLBench μ „λ°˜μ— 걸쳐 Pareto-optimal을 λ‹¬μ„±ν•˜λ©°, ν›ˆλ ¨ μ‹œ 뢄포 μ™Έ μž‘μ—…μ—μ„œλ„ 강점을 λ³΄μž…λ‹ˆλ‹€.
β€’
ν•œκ³„μ : λ…Όλ¬Έμ—μ„œ μ œμ‹œλœ ν•©μ„± 데이터 생성 νŒŒμ΄ν”„λΌμΈκ³Ό RL ν›ˆλ ¨ λ°©μ‹μ˜ ν™•μž₯μ„± 및 μ‹€μ œ κΈ°μ—… ν™˜κ²½ 적용 μ‹œμ˜ 좔가적인 검증이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, "sufficient test-time compute" 쑰건 ν•˜μ—μ„œ 졜적 μ„±λŠ₯을 λ‹¬μ„±ν•œλ‹€λŠ” μ μ—μ„œ μ»΄ν“¨νŒ… μžμ› μ œμ•½μ΄ μžˆλŠ” ν™˜κ²½μ—μ„œμ˜ μ„±λŠ₯은 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage