Format Inertia: A Failure Mechanism of LLMs in Medical Pre-Consultation
Created by
Haebom
저자
Seungseop Lim, Gibaeg Kim, Wooseok Han, Jean Seo, Hyunkyung Lee, Jaehyo Yoo, Eunho Yang
개요
대규모 언어 모델(LLM)의 발전은 챗봇 및 의료 사전 상담 애플리케이션과 같은 다양한 서비스 분야에서 상당한 개선을 가져왔습니다. 의료 분야에서 LLM을 다중 턴 대화 생성에 적응시키는 가장 일반적인 방법은 지도 미세 조정(SFT)입니다. 그러나 의료 사전 상담과 같은 작업의 SFT를 위한 데이터 세트는 일반적으로 턴 수 분포가 불균형합니다. 이러한 데이터에 대한 훈련은 'Format Inertia'라고 하는 새로운 실패 메커니즘을 유발하며, 모델이 긴 의료 대화에서 반복적이고 형식적으로는 정확하지만 진단적으로는 비유익한 질문을 생성하는 경향이 있습니다. 이 실패 메커니즘을 완화하기 위해 훈련 데이터 세트의 턴 수 분포를 재조정하는 간단한 데이터 중심적 방법을 채택했습니다. 실험 결과는 본 연구의 방법이 의료 사전 상담에서 Format Inertia를 실질적으로 완화한다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
Format Inertia라는 새로운 실패 메커니즘을 식별했습니다.
◦
데이터 중심적 방법으로 Format Inertia를 효과적으로 완화할 수 있음을 입증했습니다.