본 논문은 연합 학습(Federated Learning, FL) 환경에서 매개변수 효율적인 미세 조정(Parameter Efficient Fine-Tuning, PEFT)을 효율적으로 수행하는 방법을 제안합니다. 특히, 다중 헤드 어텐션(Multi-Head Attention, MHA) 기반 언어 모델에 초점을 맞춰, 자원 제약이 있는 장치와 클라이언트 간의 다양한 데이터 분포라는 FL의 고유한 과제를 해결합니다. 이는 헤드 프루닝(head pruning), 새로운 헤드 특정 가중치 집계 메커니즘, 그리고 클라이언트 선택 전략을 통해 이루어집니다. 헤드 프루닝은 어텐션 헤드의 신뢰도를 기반으로 계산된 중요도 점수에 따라 클라이언트 내의 훈련 복잡도를 최소화하고, 가중치 집계는 다양한 클라이언트의 중요한 업데이트를 포착하여 전반적인 모델 성능을 향상시킵니다. MultiNLI, 20 Newsgroups, XL-Sum, E2E NLG 데이터셋을 사용하여 실험을 진행하며, MultiNLI 데이터셋과 T5-small 모델, LoRA를 사용하여 최대 90%의 스파스성을 달성, 통신량을 최대 1.8배, 훈련 연산(OPs)을 3.9배 감소시키면서 정확도 저하는 2% 미만으로 유지함을 보였습니다.
