Sign In

Why Retrying Fails: Context Contamination in LLM Agent Pipelines

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zhanfu Yang

πŸ’‘ κ°œμš”

LLM μ—μ΄μ „νŠΈκ°€ μ—¬λŸ¬ 단계λ₯Ό κ±°μΉ˜λŠ” 도ꡬ 증강 μž‘μ—…μ—μ„œ μ‹€νŒ¨ν•˜κ³  μž¬μ‹œλ„ν•  λ•Œ, μ‹€νŒ¨ν•œ μ‹œλ„κ°€ μ»¨ν…μŠ€νŠΈ 창에 남아 λ‹€μŒ μ‹œλ„λ₯Ό μ˜€μ—Όμ‹œν‚€κ³  κΈ°λ³Έ 였λ₯˜μœ¨λ³΄λ‹€ 높은 단계별 였λ₯˜μœ¨μ„ μœ λ°œν•˜λŠ” 'μ»¨ν…μŠ€νŠΈ μ˜€μ—Ό μž¬μ‹œμž‘' ν˜„μƒμ΄ λ°œμƒν•©λ‹ˆλ‹€. λ³Έ 논문은 이λ₯Ό λͺ¨λΈλ§ν•˜λŠ” CCRM(Context-Contaminated Restart Model)을 μ œμ•ˆν•˜λ©°, μž¬μ‹œλ„ 횟수, μ»¨ν…μŠ€νŠΈ μ˜€μ—ΌμœΌλ‘œ μΈν•œ μΆ”κ°€ μ‹œλ„ 횟수, 성곡 ν™•λ₯ μ„ μ΅œλŒ€ν™”ν•˜λŠ” 졜적 νŒŒμ΄ν”„λΌμΈ 깊이 등을 이둠적으둜 λ„μΆœν•˜κ³  μ‹€μ œ λ°μ΄ν„°λ‘œ κ²€μ¦ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM μ—μ΄μ „νŠΈμ˜ μž¬μ‹œλ„ λ©”μ»€λ‹ˆμ¦˜μ—μ„œ μ»¨ν…μŠ€νŠΈ μ˜€μ—Όμ΄ μ„±λŠ₯에 λ―ΈμΉ˜λŠ” μ€‘μš”μ„±μ„ μ •λŸ‰μ μœΌλ‘œ λΆ„μ„ν•˜μ—¬, λ‹¨μˆœν•œ μž¬μ‹œλ„κ°€ λΉ„νš¨μœ¨μ μž„μ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
μ»¨ν…μŠ€νŠΈ μ˜€μ—Όμ„ κ³ λ €ν•œ 졜적의 νŒŒμ΄ν”„λΌμΈ 섀계 및 μ˜ˆμ‚° ν• λ‹Ή μ „λž΅μ„ μ œμ‹œν•˜μ—¬, LLM μ—μ΄μ „νŠΈμ˜ μ‹ λ’°μ„±κ³Ό νš¨μœ¨μ„±μ„ κ°œμ„ ν•  수 μžˆλŠ” λ°©μ•ˆμ„ μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λͺ¨λΈμ΄ μ‹€μ œ SWE-bench 데이터에 잘 λΆ€ν•©ν•˜λ©°, μ»¨ν…μŠ€νŠΈλ₯Ό μ œκ±°ν•˜λŠ” '클린 μž¬μ‹œμž‘'의 이점을 μ •λŸ‰ν™”ν•˜λŠ” 데 μ„±κ³΅ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬μ—μ„œλŠ” 더 λ³΅μž‘ν•œ μ»¨ν…μŠ€νŠΈ μ˜€μ—Ό νŒ¨ν„΄μ΄λ‚˜ λ‹€μ–‘ν•œ μœ ν˜•μ˜ μ—μ΄μ „νŠΈ μ•„ν‚€ν…μ²˜μ— λŒ€ν•œ λͺ¨λΈ ν™•μž₯ 및 좔가적인 μ‹€ν—˜μ  검증이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage