debug-gym: A Text-Based Environment for Interactive Debugging
Created by
Haebom
Category
Empty
저자
Xingdi Yuan, Morgane M Moss, Charbel El Feghali, Chinmay Singh, Darya Moldavskaya, Drew MacPhee, Lucas Caccia, Matheus Pereira, Minseon Kim, Alessandro Sordoni, Marc-Alexandre Cote
개요
본 논문은 대규모 언어 모델(LLM)이 코딩 작업에 점점 더 많이 사용되고 있지만, 대부분의 시나리오에서 관련 정보는 컨텍스트에서 접근하거나 훈련 데이터와 일치한다고 가정한다는 점을 지적합니다. LLM이 작업에 관련된 정보를 수집하기 위해 코드베이스를 상호 작용적으로 탐색할 수 있는 기능으로부터 이점을 얻을 수 있다고 주장하며, 이를 달성하기 위해 상호 작용적인 코딩 환경인 텍스트 기반 환경 debug-gym을 제시합니다. debug-gym은 경량이며, LLM 기반 에이전트의 상호 작용적 디버깅을 용이하게 하도록 설계된 Python 디버거(pdb)와 같은 유용한 도구들을 미리 제공합니다. 코딩 및 디버깅 작업 외에도, 이 접근 방식은 LLM 에이전트의 정보 탐색 행위로부터 이점을 얻을 수 있는 다른 작업으로 일반화될 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트의 상호 작용적 코딩 및 디버깅을 위한 새로운 환경 debug-gym을 제시하여 LLM의 기능을 확장합니다.
◦
정보 탐색 행위를 통해 LLM의 성능 향상 가능성을 제시합니다.
◦
다양한 작업에 적용 가능한 일반적인 프레임워크를 제공합니다.
•
한계점:
◦
debug-gym의 성능 및 효율성에 대한 정량적인 평가가 부족합니다.
◦
다양한 종류의 코드베이스 및 작업에 대한 일반화 가능성에 대한 추가적인 연구가 필요합니다.
