TermiGen: High-Fidelity Environment and Robust Trajectory Synthesis for Terminal Agents

Created by

Haebom

저자

Kaijie Zhu, Yuzhou Nie, Yijiang Li, Yiming Huang, Jialian Wu, Jiang Liu, Ximeng Sun, Zhenfei Yin, Lun Wang, Zicheng Liu, Emad Barsoum, William Yang Wang, Wenbo Guo

💡 개요

본 논문은 LLM이 복잡한 터미널 작업을 수행하는 데 있어 겪는 두 가지 주요 문제, 즉 고품질의 실행 가능한 훈련 환경 부족과 인간 전문가의 실수를 모방한 훈련 데이터 부족을 해결하고자 합니다. 이를 위해 TermiGen이라는 새로운 파이프라인을 제안하며, 이 파이프라인은 검증 가능한 환경과 오류 수정 사이클이 풍부한 전문가 궤적을 합성합니다. TermiGen으로 훈련된 모델은 기존 모델들을 능가하며 특히 TerminalBench 벤치마크에서 31.3%의 높은 성공률을 달성했습니다.

🔑 시사점 및 한계

•

고품질 학습 데이터 생성: TermiGen은 다양한 실제 환경과 오류를 포함하는 훈련 데이터를 효과적으로 생성하여 LLM의 터미널 작업 수행 능력을 크게 향상시킬 수 있습니다.

•

오픈 가중치 모델의 성능 향상: 제안된 방법론은 오픈 가중치 모델이 독점 모델에 필적하거나 능가하는 성능을 달성할 수 있음을 입증하여 LLM 연구 및 개발의 민주화에 기여합니다.

•

확장성 및 일반화: TermiGen이 생성한 데이터의 다양성과 실제 오류를 포함하는 특성이 모델의 강건성과 다양한 시나리오에 대한 일반화 성능을 어느 정도 보장하지만, 실제 복잡하고 예상치 못한 오류 상황에 대한 완벽한 포괄성은 여전히 도전 과제로 남아있습니다.

PDF 보기

Made with Slashpage