Beyond Label Attention: Transparency in Language Models for Automated Medical Coding via Dictionary Learning
Created by
Haebom
Category
Empty
저자
John Wu, David Wu, Jimeng Sun
개요
본 논문은 의료 코딩 자동화를 위한 대규모 언어 모델(LLM)의 해석 가능성 향상에 초점을 맞추고 있다. 기존의 레이블 어텐션 메커니즘이 의료 코드와 관련 없는 토큰을 강조하는 문제점을 해결하기 위해, 밀집된 언어 모델 임베딩에서 드물게 활성화되는 표현을 효율적으로 추출하는 사전 학습 기법을 제안한다. 이 방법은 토큰 수준의 표현을 넘어 해석 가능한 사전을 구축하여 각 ICD 코드 예측에 대한 메커니즘 기반 설명을 향상시키며, 의학적으로 무관한 토큰의 의미를 90% 이상 설명할 수 있음을 보여준다.
시사점, 한계점
•
시사점:
◦
의료 코딩 자동화의 효율성 향상에 기여할 수 있다.
◦
레이블 어텐션 메커니즘의 한계를 극복하고, 더욱 정확하고 해석 가능한 의료 언어 모델을 구축할 수 있다.
