본 논문은 분산 학습 환경에서 개인 정보 보호 및 통신 오버헤드를 최소화하면서 대규모 언어 모델(LLM)을 훈련하는 유망한 패러다임인 연합 학습(FL)에 대해 논의한다. 특히, 아키텍처 설계, 성능 최적화, 그리고 기계 학습 삭제(machine unlearning)를 포함한 보안 문제에 중점을 두고 FL 기반 LLM의 최근 발전을 조사한다. 기계 학습 삭제는 '잊힐 권리'와 같은 개인 정보 보호 규정을 준수하기 위해 훈련된 모델에서 특정 데이터 기여를 체계적으로 제거하는 것을 의미한다. 논문에서는 섭동 기반 방법, 모델 분해, 증분 재훈련과 같이 연합 LLM에서 학습 삭제를 가능하게 하는 다양한 전략을 검토하고, 효율성, 개인 정보 보호 보장 및 모델 유용성 측면에서 그들의 장단점을 평가한다. 선택된 사례 연구와 실증적 평가를 통해 이러한 방법들이 실제 FL 시나리오에서 어떻게 수행되는지 분석하고, 실제 배포를 위한 안전하고, 적응력이 뛰어나고, 고성능의 연합 LLM 시스템을 개발하기 위한 중요한 연구 방향을 제시한다.
