Reducing Large Language Model Safety Risks in Women's Health using Semantic Entropy
Created by
- Haebom
Category
Empty
저자
Jahan C. Penny-Dimri, Magdalena Bachmann, William R. Cooke, Sam Mathewlynn, Samuel Dockree, John Tolladay, Jannik Kossen, Lin Li, Yarin Gal, Gabriel Davis Jones
개요
본 논문은 대규모 언어 모델(LLM)이 의료, 특히 여성 건강 분야에서 임상 의사결정 지원에 사용될 가능성을 제시하면서, LLM의 환각(hallucination) 현상으로 인한 부정확한 정보 생성 문제를 해결하기 위한 새로운 불확실성 측정 지표인 의미 엔트로피(Semantic Entropy, SE)를 제안합니다. 영국 RCOG MRCOG 시험에서 추출된 임상적으로 검증된 데이터셋을 사용하여, 기존의 퍼플렉서티(perplexity)와 SE의 환각 감지 성능을 비교 분석하였습니다. 그 결과, SE가 퍼플렉서티보다 우수한 성능(AUROC 0.76 vs 0.62)을 보였으며, 임상 전문가 검증에서도 높은 정확도(AUROC 0.97)를 나타냈습니다. SE는 의료 AI의 안전성 향상, 특히 자원이 제한된 환경에서의 의료 지원 강화에 기여할 수 있음을 시사합니다.
시사점, 한계점
•
시사점:
◦
의미 엔트로피(SE)는 대규모 언어 모델의 환각(hallucination)을 감지하는 데 있어 기존의 퍼플렉서티보다 우수한 성능을 보임.
◦
SE는 여성 건강 분야를 포함한 의료 AI의 안전성 향상 및 신뢰도 증진에 기여할 수 있음.
◦
특히 자원이 제한된 환경에서 LLM을 활용한 의료 서비스 개선에 기여할 가능성 제시.
◦
SE는 더욱 안전하고 효과적인 디지털 의료 개입을 위한 중요한 안전장치 역할을 할 수 있음.
•
한계점:
◦
의미 클러스터링은 30%의 경우에서만 성공적이었음. (SE의 적용 한계를 시사)
