연구는 의료 자연어 처리(NLP)에서 개인정보 보호 문제를 해결하기 위해 연합 학습(FL)을 이용하여 대규모 언어 모델(LLM)을 훈련하는 방법을 제안합니다. 기존 연합 학습의 통신 오버헤드 및 데이터 이질성 문제를 해결하기 위해, 사전 훈련된 LLM의 일부 계층만 미세 조정하고 나머지는 고정하는 계층 건너뛰기 연합 학습(Layer-Skipping Federated Learning)을 제안합니다. LLaMA 3.2-1B 모델에 적용한 결과, 통신 비용을 약 70% 줄이면서 중앙 집중식 훈련 대비 성능 저하를 2% 이내로 유지했습니다. i2b2 및 MIMIC-III 데이터셋을 사용한 임상 NER 및 분류 작업에서 경쟁 기법보다 우수한 성능을 보였으며, 비IID 임상 데이터 분포에도 효과적으로 대처하고, 차등 프라이버시와 결합했을 때 강건성을 보였습니다. 이는 의료 NLP에서 개인정보 보호를 준수하는 협업 학습을 위한 실용적인 해결책을 제시합니다.
