The Collaboration Gap
Created by
- Haebom
Category
Empty
저자
Tim R. Davidson, Adam Fourney, Saleema Amershi, Robert West, Eric Horvitz, Ece Kamar
개요
AI 개발은 서로 다른 정보, 권한 및 도구를 가진 독립적으로 개발된 에이전트로 구성된 에이전트 기반 시스템에 대한 의존도를 높일 것으로 예상된다. 이러한 시스템의 성공은 부분적인 관찰 환경에서도 이질적인 에이전트 간의 효과적인 협업에 달려 있다. 본 논문에서는 협업 능력을 격리하고, 문제 복잡성을 조절하며, 확장 가능한 자동 채점을 가능하게 하고, 출력 형식 제약 조건을 부과하지 않는 협업 미로 해결 벤치마크를 제안한다. 이를 사용하여 32개의 주요 오픈 소스 및 클로즈 소스 모델을 단독, 동질 및 이질 페어링에서 평가했다.
시사점, 한계점
•
시사점:
◦
단독으로 잘 수행하는 모델이 협업 시 성능이 크게 저하되는 "협업 격차" 발견.
◦
강력한 에이전트가 먼저 리드하는 "릴레이 추론" 방식이 협업 성능 향상에 기여.
◦
AI-AI 및 인간-AI 협업에 적용 가능한, 협업 인식 평가, 협업 능력 향상을 위한 훈련 전략, 에이전트의 잠재된 기술을 이끌어내는 상호 작용 설계의 필요성을 강조.
•
한계점:
◦
구체적인 모델 및 페어링 조합에 따른 성능 변화에 대한 자세한 분석 부족.
◦
제안된 "릴레이 추론" 방식의 일반화 가능성에 대한 추가 연구 필요.
◦
다양한 협업 시나리오 및 복잡한 환경에 대한 확장성 평가 부족.
