Interactive Debugging and Steering of Multi-Agent AI Systems
Created by
- Haebom
Category
Empty
저자
Will Epperson, Gagan Bansal, Victor Dibia, Adam Fourney, Jack Gerrits, Erkang Zhu, Saleema Amershi
개요
LLM 기반 AI 에이전트의 완전 자율 팀이 복잡한 사용자 작업을 수행하기 위해 등장하고 있다. 본 논문은 이러한 AI 에이전트 팀을 구축하고 디버깅하는 과정에서 개발자가 직면하는 과제를 다섯 명의 AI 에이전트 개발자와의 인터뷰를 통해 조사한다. 핵심 과제로는 에이전트 간의 긴 대화를 검토하여 오류를 찾는 어려움, 대화형 디버깅을 위한 현재 도구의 부족, 에이전트 구성 반복을 위한 도구 지원의 필요성 등이 확인되었다. 이러한 요구 사항을 바탕으로, 메시지 탐색 및 전송을 위한 UI, 이전 에이전트 메시지 편집 및 재설정 기능, 복잡한 메시지 기록 탐색을 위한 개요 시각화 기능을 갖춘 대화형 다중 에이전트 디버깅 도구인 AGDebugger를 개발하였다. 14명의 참가자를 대상으로 한 2부 구성의 사용자 연구를 통해 에이전트 제어를 위한 일반적인 사용자 전략을 파악하고, 디버깅을 위한 대화형 메시지 재설정의 중요성을 강조하였다. 본 연구는 점점 더 중요해지는 에이전트 워크플로우 디버깅을 위한 인터페이스에 대한 이해를 심화시킨다.
시사점, 한계점
•
시사점:
◦
AI 에이전트 팀 개발의 주요 어려움을 체계적으로 규명하고, 이를 해결하기 위한 대화형 다중 에이전트 디버깅 도구 AGDebugger를 제시하였다.
◦
AGDebugger의 사용자 연구를 통해 효과적인 에이전트 제어 및 디버깅 전략을 제시하고, 대화형 메시지 재설정 기능의 중요성을 확인하였다.
◦
점점 더 복잡해지는 AI 에이전트 시스템의 디버깅을 위한 인터페이스 디자인에 대한 중요한 시사점을 제공한다.
•
한계점:
◦
연구에 참여한 개발자 및 사용자의 수가 제한적이다 (5명의 개발자 인터뷰, 14명의 사용자 연구).
◦
AGDebugger의 성능 및 효율성에 대한 보다 폭넓고 심도있는 평가가 필요하다.
◦
다양한 유형의 AI 에이전트 및 작업에 대한 일반화 가능성에 대한 추가 연구가 필요하다.
