본 논문은 제로샷 설정에서 신뢰할 수 있는 다중 에이전트 AI 시각 분류 프레임워크를 제시합니다. 시각 및 언어 이해를 결합한 다중 에이전트 아키텍처를 기반으로, 일반적인 다중 모달 에이전트, 비시각적 추론 오케스트레이터, 그리고 RAG(Retrieval-Augmented Generation) 모듈을 통합합니다. 사과 잎 질병 진단에 적용하여 제로샷, 파인튜닝된 에이전트, 그리고 CLIP 기반 이미지 검색 및 재평가 루프를 활용한 신뢰 보정 오케스트레이션 등 세 가지 설정을 벤치마킹했습니다. 신뢰 캘리브레이션 지표(ECE, OCR, CCC)를 사용하여 오케스트레이터는 에이전트 간의 신뢰도를 조절합니다. 신뢰 기반 오케스트레이션과 RAG를 사용한 제로샷 설정에서 77.94%의 정확도 향상을 달성하여 전체 정확도 85.63%를 기록했습니다. GPT-4o는 더 나은 보정을 보였고, Qwen-2.5-VL은 과신을 보였습니다. 이미지 RAG는 시각적으로 유사한 사례를 바탕으로 예측을 제시하여 반복적인 재평가를 통해 에이전트의 과신을 수정합니다. 지각(시각 에이전트)과 메타 추론(오케스트레이터)을 분리하여 확장 가능하고 해석 가능한 다중 에이전트 AI를 구현합니다. 진단, 생물학 및 기타 신뢰가 중요한 분야로 확장 가능하며, 코드를 포함한 모든 자료는 Github에 공개되어 있습니다.
