본 논문은 제로샷 설정에서 신뢰할 수 있는 다중 에이전트 AI 시각 분류 프레임워크를 제시합니다. 시각 및 언어 이해를 결합한 다중 모달 에이전트와 비시각적 추론 오케스트레이터, 그리고 RAG(Retrieval-Augmented Generation) 모듈을 통합한 모듈형 프레임워크를 제안합니다. 사과 잎 질병 진단에 적용하여, 신뢰 기반 오케스트레이션을 사용한 제로샷 설정, 성능 향상을 위한 미세 조정된 에이전트, 그리고 CLIP 기반 이미지 검색 및 재평가 루프로 향상된 신뢰 보정 오케스트레이션을 포함한 세 가지 설정을 벤치마킹했습니다. 신뢰 보정 지표(ECE, OCR, CCC)를 사용하여 오케스트레이터는 에이전트 간의 신뢰도를 조절합니다. 결과적으로 신뢰 기반 오케스트레이션과 RAG를 사용한 제로샷 설정에서 77.94%의 정확도 향상을 달성하여 전반적으로 85.63%의 정확도를 달성했습니다. GPT-4o는 더 나은 보정을 보였고, Qwen-2.5-VL은 과신을 보였습니다. 또한, 이미지 RAG는 시각적으로 유사한 사례를 기반으로 예측을 제시하여 반복적인 재평가를 통해 에이전트의 과신을 수정했습니다. 제안된 시스템은 지각(시각 에이전트)과 메타 추론(오케스트레이터)을 분리하여 확장 가능하고 해석 가능한 다중 에이전트 AI를 가능하게 합니다. 이 청사진은 진단, 생물학 및 기타 신뢰가 중요한 영역으로 확장될 수 있습니다. 모든 모델, 프롬프트, 결과 및 시스템 구성 요소를 포함한 완전한 소스 코드는 Github에서 공개적으로 배포됩니다.
