MedAgentsBench는 다단계 임상 추론, 진단 형성 및 치료 계획을 필요로 하는 어려운 의료 질문에 초점을 맞춘 새로운 벤치마크입니다. 기존 의료 질문 응답 벤치마크에서 우수한 성능을 보이는 대규모 언어 모델(LLM)의 평가를 어렵게 만드는 문제를 해결하기 위해 고안되었습니다. 기존 평가의 세 가지 주요 한계점(단순 질문의 빈번한 출현, 연구 간 일관되지 않은 샘플링 및 평가 프로토콜, 성능, 비용 및 추론 시간 간 상호 작용에 대한 체계적인 분석 부족)을 해결하며, 7개의 기존 의료 데이터셋을 활용합니다. 실험 결과, DeepSeek R1 및 OpenAI o3과 같은 최신 모델이 복잡한 의료 추론 작업에서 뛰어난 성능을 보이며, 검색 기반 에이전트 방법이 기존 접근 방식에 비해 유망한 성능 대비 비용 비율을 제공함을 보여줍니다. 복잡한 질문에 대한 모델 간의 상당한 성능 차이와 다양한 계산 제약 조건에 대한 최적의 모델 선택을 밝혀냅니다. 벤치마크 및 평가 프레임워크는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
복잡한 의료 추론 작업에 대한 LLM의 성능을 효과적으로 평가할 수 있는 새로운 벤치마크 제공.
◦
DeepSeek R1 및 OpenAI o3와 같은 최신 모델의 우수한 성능과 검색 기반 에이전트 방법의 효율성을 확인.
