본 논문은 의료 분야 복잡한 과제 해결을 위한 다중 에이전트 협업에 대한 관심 증가에 따라, 다중 에이전트 협업 접근 방식의 실질적인 이점을 체계적으로 평가하기 위한 종합적인 벤치마크인 MedAgentBoard를 제시합니다. MedAgentBoard는 의료 영상 질의응답, 요약 생성, 구조화된 전자 건강 기록(EHR) 예측 모델링, 임상 워크플로 자동화 등 네 가지 다양한 의료 과제 범주를 포함하며, 텍스트, 의료 이미지, 구조화된 EHR 데이터를 다룹니다. 실험 결과, 다중 에이전트 협업은 임상 워크플로 자동화에서 과제 완성도 향상과 같은 특정 시나리오에서 이점을 보이지만, 고급 단일 LLM이나 전문적인 기존 방법을 일관되게 능가하지는 못하며, 의료 VQA 및 EHR 기반 예측과 같은 과제에서는 기존 방법이 더 나은 성능을 유지하는 것으로 나타났습니다. MedAgentBoard는 의료 AI 솔루션 선택 및 개발에 있어 과제 특유의 증거 기반 접근 방식의 필요성을 강조하며, 다중 에이전트 협업의 복잡성과 오버헤드를 성능 향상과 신중히 비교해야 함을 보여줍니다. 모든 코드, 데이터셋, 자세한 프롬프트 및 실험 결과는 공개되었습니다.
