Sign In

CLI-Gym: Scalable CLI Task Generation via Agentic Environment Inversion

Created by
  • Haebom
Category
Empty

μ €μž

Yusong Lin, Haiyang Wang, Shuzhe Wu, Lue Fan, Feiyang Pan, Sanyuan Zhao, Dandan Tu

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λͺ…령쀄 μΈν„°νŽ˜μ΄μŠ€(CLI)와 같은 λŸ°νƒ€μž„ ν™˜κ²½μ—μ„œ μ—μ΄μ „νŠΈκ°€ μž‘μ—…μ„ 효과적으둜 μˆ˜ν–‰ν•˜λ„λ‘ 돕기 μœ„ν•΄, ν™•μž₯ κ°€λŠ₯ν•œ CLI μž‘μ—… 생성을 μœ„ν•œ μƒˆλ‘œμš΄ 방법둠인 CLI-Gym을 μ œμ•ˆν•©λ‹ˆλ‹€. CLI-Gym은 μ—μ΄μ „νŠΈλ₯Ό ν™œμš©ν•˜μ—¬ ν™˜κ²½μ˜ μ‹€ν–‰ 기둝을 νƒμƒ‰ν•˜κ³ , κ±΄κ°•ν•œ ν™˜κ²½μ˜ μƒνƒœλ₯Ό μ΄μ „μ˜ 였λ₯˜κ°€ λ°œμƒν•œ μƒνƒœλ‘œ μ—­μ „μ‹œμΌœ μž‘μ—…μ„ μƒμ„±ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 1,655개의 ν™˜κ²½ 쀑심 μž‘μ—… μ»¬λ ‰μ…˜μ„ κ΅¬μΆ•ν–ˆμœΌλ©°, 이λ₯Ό ν™œμš©ν•œ LiberCoder λͺ¨λΈμ€ Terminal-Benchμ—μ„œ 21.1%의 μƒλ‹Ήν•œ μ„±λŠ₯ ν–₯상을 λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ—μ΄μ „νŠΈ μ½”λ”© λŠ₯λ ₯ κ°•ν™”λ₯Ό μœ„ν•œ ν™˜κ²½ 쀑심 μž‘μ—… 데이터셋 κ΅¬μΆ•μ˜ μ€‘μš”μ„±κ³Ό ν™•μž₯ κ°€λŠ₯ν•œ 생성 방법둠 μ œμ‹œ
β€’
CLI ν™˜κ²½μ—μ„œμ˜ μž‘μ—… 생성을 μœ„ν•œ μƒˆλ‘œμš΄ μ ‘κ·Ό 방식(ν™˜κ²½ 역사 μ—­μ „)을 μ œμ‹œν•˜μ—¬ κ΄€λ ¨ 연ꡬ λΆ„μ•Ό ν™•μž₯
β€’
μƒμ„±λœ μž‘μ—…μ˜ λ‹€μ–‘μ„± 및 ν˜„μ‹€μ„±, 그리고 LiberCoder λͺ¨λΈμ˜ μΌλ°˜ν™” μ„±λŠ₯에 λŒ€ν•œ 좔가적인 탐ꡬ ν•„μš”
πŸ‘
Made with Slashpage