MedHallBench는 의료용 대규모 언어 모델(MLLM)의 환각(의학적으로 비현실적이거나 부정확한 정보 생성) 문제를 평가하고 완화하기 위한 포괄적인 벤치마크 프레임워크입니다. 전문가 검증을 거친 의료 사례 시나리오와 기존 의료 데이터베이스를 통합하여 강력한 평가 데이터셋을 생성하고, 자동화된 ACHMI 점수와 엄격한 임상 전문가 평가를 결합한 정교한 측정 시스템을 사용합니다. 강화 학습(RLHF) 기반의 최적화된 학습 파이프라인을 통해 다양한 임상 환경에서 MLLM을 철저히 평가하고 정확성 기준을 유지합니다. 다양한 모델을 대상으로 비교 실험을 수행하여 널리 사용되는 대규모 언어 모델(LLM)의 기준선을 설정하였으며, ACHMI가 기존 지표보다 환각 효과에 대한 더욱 세부적인 이해를 제공함을 보여줍니다. 이 연구는 의료 환경에서 MLLM의 신뢰성을 향상시키고 의료 응용 분야에서 AI 환각의 중요한 과제를 해결하기 위한 실행 가능한 전략을 제시하는 기초 프레임워크를 구축합니다.
