본 논문은 개인 데이터를 활용하여 대규모 언어 모델(LLM)의 성능을 향상시키는 동시에, 데이터 사일로 문제와 높은 연산 요구량을 해결하기 위해 연합 학습 환경에서 사용할 수 있는 변환기 기반 연합 분할 모델인 FedSEA-LLaMA를 제안한다. FedSEA-LLaMA는 대부분의 모델 파라미터를 서버(또는 분산된 클라이언트)에 배치하고 작은 부분만 클라이언트에 유지하여 데이터 프라이버시를 보장한다. 기존 연합 분할 모델의 한계인 P2P 암호화의 취약성, 순차적 학습 및 추론으로 인한 높은 통신 오버헤드, 고정된 분할 지점의 문제점을 해결하기 위해, 가우시안 노이즈 주입을 통한 안전한 벡터 전송, 어텐션 마스크 압축 및 KV 캐시 협업을 통한 통신 비용 절감, 그리고 사용자에 의한 동적 분할 지점 조정 기능을 제시한다. 자연어 이해, 요약, 대화형 질의응답 작업에 대한 실험 결과, FedSEA-LLaMA는 중앙 집중식 LLaMA2와 비교하여 성능 저하 없이 최대 8배의 학습 및 추론 속도 향상을 달성함을 보여준다. 또한, 프라이버시 공격 분석과 다양한 분할 지점 분석을 통해 보안성과 적응성을 입증한다.
