연구는 의료 분야와 같은 민감한 데이터를 다루는 대규모 언어 모델(LLM) 학습에서 연합 학습(FL)의 통신 오버헤드 및 모델 프라이버시 문제를 해결하기 위해 선택적 어텐션 연합 학습(SAFL)을 제시합니다. SAFL은 어텐션 패턴을 활용하여 중요한 트랜스포머 레이어만 동적으로 미세 조정함으로써 통신 대역폭을 크게 줄이고 차별적 프라이버시 저항성을 향상시킵니다. i2b2 Clinical Concept Extraction 및 MIMIC-III 방전 요약과 같은 임상 NLP 벤치마크에 대한 평가 결과, SAFL은 중앙 집중식 모델과 경쟁력 있는 성능을 달성하면서 통신 효율성과 프라이버시 보존을 상당히 향상시키는 것으로 나타났습니다.
