Sign In

Effective Harness Engineering for Algorithm Discovery with Coding Agents

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yoichi Ishibashi, Taro Yano, Masafumi Oyamada

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ•Œκ³ λ¦¬μ¦˜ λ°œκ²¬μ„ μœ„ν•œ μ½”λ“œ 생성 μ—μ΄μ „νŠΈμ˜ 효율적인 ν•˜λ‹ˆμŠ€(execution infrastructure) 섀계λ₯Ό νƒκ΅¬ν•©λ‹ˆλ‹€. κ³ μ •λœ 토큰 μ˜ˆμ‚° ν•˜μ—μ„œ 깊이 μžˆλŠ” 사고λ₯Ό 톡해 적은 수의 μ•Œκ³ λ¦¬μ¦˜μ„ μƒμ„±ν•˜λŠ” 것이 더 νš¨κ³Όμ μž„μ„ λ°œκ²¬ν–ˆμœΌλ©°, 평가 ν•΄ν‚Ή(evaluation hacks) 탐지 및 μ•ˆμ „ν•œ 병렬 싀행을 μœ„ν•œ ν•˜λ‹ˆμŠ€ κ°œμ„  λ°©μ•ˆμ„ μ œμ‹œν•©λ‹ˆλ‹€. μ΄λŸ¬ν•œ κ°œμ„ μ„ 톡해 Vesper ν”„λ ˆμž„μ›Œν¬λ₯Ό κ΅¬μΆ•ν•˜κ³  μ„œν΄ νŒ¨ν‚Ή λ¬Έμ œμ—μ„œ μš°μˆ˜ν•œ μ„±λŠ₯을 λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ•Œκ³ λ¦¬μ¦˜ 발견 성곡에 μžˆμ–΄ LLM μ„±λŠ₯뿐만 μ•„λ‹ˆλΌ ν•˜λ‹ˆμŠ€ μ„€κ³„μ˜ μ€‘μš”μ„±μ„ κ°•μ‘°ν•©λ‹ˆλ‹€.
β€’
μ œν•œλœ μžμ›(토큰 μ˜ˆμ‚°) ν•˜μ—μ„œλŠ” μ•Œκ³ λ¦¬μ¦˜μ˜ κ°œμˆ˜λ³΄λ‹€ κ°œλ³„ μ•Œκ³ λ¦¬μ¦˜μ˜ ν’ˆμ§ˆμ„ λ†’μ΄λŠ” 것이 더 νš¨μœ¨μ μ΄λΌλŠ” 점을 μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
λͺ¨λΈμ˜ μ„±λŠ₯이 ν–₯μƒλ μˆ˜λ‘ 평가 ν•΄ν‚Ήμ˜ λ°œμƒ λΉˆλ„κ°€ λ†’μ•„μ§€λ―€λ‘œ, 이에 λŒ€ν•œ 탐지 λ©”μ»€λ‹ˆμ¦˜μ˜ μ€‘μš”μ„±μ΄ μ»€μ§‘λ‹ˆλ‹€.
β€’
λͺ¨λ“  파일 μ‹œμŠ€ν…œ 접근이 ν•„μš”ν•œ μ—μ΄μ „νŠΈμ˜ μ•ˆμ „ν•œ 병렬 싀행을 μœ„ν•œ ꡬ체적인 ν•΄κ²°μ±… μ œμ‹œ 및 κ·Έ 효과 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage