본 논문은 의료 분야에서 대규모 언어 모델(LLM)의 데이터 암기 현상에 대한 첫 번째 포괄적인 평가 연구이다. 의료 코퍼스에 대한 지속적인 사전 훈련, 표준 의료 벤치마크에 대한 미세 조정, 그리고 Yale New Haven Health System의 13,000개 이상의 입원 기록을 포함한 실제 임상 데이터에 대한 미세 조정 등 세 가지 일반적인 적응 시나리오를 체계적으로 분석하여 LLM의 암기 현상의 빈도, 특징, 양, 그리고 잠재적인 영향을 평가했다. 그 결과 모든 적응 시나리오에서 암기 현상이 일반 영역보다 훨씬 높은 빈도로 나타났으며, 이는 의료 분야에서 LLM의 개발과 채택에 영향을 미친다는 것을 보여준다. 암기된 내용은 유익한(예: 임상 지침 및 생물 의학 참고 자료의 정확한 재현), 비정보성(예: 반복되는 면책 조항 또는 정형화된 의료 문서 언어), 해로운(예: 데이터셋 특정 또는 민감한 임상 콘텐츠의 재생성) 세 가지 유형으로 분류된다. 연구진은 유익한 암기를 촉진하고, 비정보성 암기를 최소화하며, 해로운 암기를 완화하기 위한 실질적인 권장 사항을 제시한다.
시사점, 한계점
•
시사점:
◦
의료 분야 LLM의 데이터 암기 현상의 빈도, 특징, 양 및 영향에 대한 포괄적인 분석 제공
◦
암기 유형을 유익, 비정보성, 해로운 세 가지로 분류하여 그 특징을 명확히 제시
◦
의료 LLM 개발 및 적용에 있어 암기 현상의 중요성을 강조
◦
유익한 암기 촉진, 비정보성 암기 최소화, 해로운 암기 완화를 위한 실질적인 권장 사항 제시
•
한계점:
◦
본 연구에서 분석된 데이터셋의 특성 (예: Yale New Haven Health System 데이터의 특징)이 다른 의료 데이터셋에 일반화될 수 있는지에 대한 추가 연구 필요
