본 논문은 대규모 언어 모델(LLM)과 분산 학습(FL)의 통합인 연합 대규모 언어 모델(FLLM)에 대한 종합적인 검토를 제공합니다. FLLM은 개인 정보 보호를 유지하고 데이터 사일로 문제를 해결하면서 분산된 데이터에 대한 공동 학습을 가능하게 하는 유망한 해결책이지만, 통신 및 계산 오버헤드, 이질성, 개인 정보 및 보안 문제와 같은 상당한 과제에 직면하고 있습니다. 본 논문은 FLLM의 실현 가능성, 강건성, 보안, 미래 방향이라는 네 가지 중요한 관점에서 기존 연구들을 조사하고, 실현 가능성에 대한 기존 연구들을 광범위하게 조사하고, 자원, 데이터 및 작업 이질성에 직면한 강건성을 향상시키는 방법을 제시하며, 개인 정보 침해 및 보안 문제를 포함한 이 통합과 관련된 새로운 위험을 분석합니다. 또한 최신 방어 메커니즘의 발전을 검토하고, 소수 샷 학습, 기계 언러닝, IP 보호와 같은 유망한 미래 연구 방향을 탐구합니다.
