Medical Incident Causal Factors and Preventive Measures Generation Using Tag-based Example Selection in Few-shot Learning

작성자

Haebom

카테고리

Empty

저자

Yuna Haseyama, Tomoki Ito, Hiroki Sakaji, Itsuki Noda

💡 개요

본 연구는 의료 분야에서 LLM의 신뢰성을 높이기 위해, 일본 의료 사고 데이터셋(JMID)을 활용하여 의료 사고의 인과적 요인 및 예방 조치 생성을 위한 태그 기반의 few-shot 예제 선택 방법을 제안합니다. 무작위 샘플링, 코사인 유사도 기반 선택, 그리고 제안된 태그 기반 방법론을 GPT-4o와 LLaMA 3.3으로 비교 실험한 결과, 태그 기반 접근 방식이 가장 높은 정확도와 안정적인 결과 생성을 보였습니다. 이는 인간이 이해할 수 있는 데이터셋 태그를 기반으로 예제를 선택하는 것이 임상 LLM 애플리케이션에서 생성 정확도와 안정성을 향상시킬 수 있음을 시사합니다.

🔑 시사점 및 한계

•

의료 분야와 같이 높은 수준의 신뢰성이 요구되는 영역에서 few-shot 학습 시, LLM이 인간이 이해할 수 있는 명확한 태그를 기반으로 예제를 선택하는 것이 성능 향상에 효과적입니다.

•

단순한 텍스트 유사성 기반의 예제 선택은 의도하지 않은 출력이나 안전 필터 활성화를 유발할 수 있으므로, 신중한 접근이 필요합니다.

•

본 연구는 일본어 데이터셋을 사용하였으며, 다른 언어나 도메인에 대한 일반화 가능성은 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage