Demo: Statistically Significant Results On Biases and Errors of LLMs Do Not Guarantee Generalizable Results
Created by
Haebom
Category
Empty
저자
Jonathan Liu, Haoling Qiu, Jonathan Lasko, Damianos Karakos, Mahsa Yarmohammadi, Mark Dredze
개요
본 연구는 의료 분야 챗봇의 성능 저하 원인을 파악하기 위해, 환자 인구 통계, 병력, 질병, 글쓰기 스타일 등을 활용하여 현실적인 질문을 생성하고, 여러 LLM을 '판사'로 사용하여 답변을 평가하는 인프라를 개발했습니다. 연구 결과, LLM 간의 평가 일치도가 낮고, 특정 LLM 쌍에서만 유의미한 차이가 나타났습니다. 특히, 지면 진실 데이터가 없는 경우 LLM 평가에 여러 LLM을 사용하고, 상호 LLM 간 일치도 지표를 공개할 것을 권장합니다.
시사점, 한계점
•
LLM 기반 의료 챗봇의 성능 평가 시, LLM 간의 평가 일치도가 낮을 수 있음을 확인.
•
특정 LLM 조합에만 의존한 평가는 일반화된 결과를 도출하지 못할 수 있음.
•
지면 진실 데이터가 없는 상황에서, 여러 LLM을 평가자로 활용하는 것이 중요.
•
LLM 평가 시, 상호 LLM 간 일치도 지표를 공개하여 투명성을 확보해야 함.
•
연구는 의료 챗봇의 성능 평가에 초점을 맞추었으며, 실제 의료 환경에서의 챗봇 활용에 대한 추가 연구가 필요함.
