ModelAuditor는 의료 영상 AI 모델의 실제 환경 적용 시 발생할 수 있는 치명적인 오류를 사전에 감지하고 해결하는 데 도움을 주는 자기 반성형 에이전트입니다. 기존의 오류 감지 방법이 시간과 비용이 많이 소요되는 반면, ModelAuditor는 사용자와 대화하고, 작업별 지표를 선택하며, 임상적으로 관련된 다양한 상황 변화를 시뮬레이션하여 해석 가능한 보고서를 생성합니다. 이 보고서에는 성능 저하 정도, 예상되는 오류 유형, 근본 원인, 그리고 완화 전략이 포함됩니다. 조직병리학, 피부과, 흉부 방사선학 등 세 가지 실제 임상 시나리오에서 기존 최첨단 모델보다 우수한 성능을 보이며, 실제 환경 변화로 인한 성능 저하의 15-25%를 회복시키는 것을 입증했습니다. 다중 에이전트 아키텍처를 기반으로 하며, 일반 소비자용 하드웨어에서 10분 이내에 0.5달러 미만의 비용으로 감사를 수행할 수 있습니다.
