본 논문은 사전 훈련된 거대 언어 모델(LLM)의 명령어에 대한 반응성을 향상시키는 데 중요한 단계인 명령어 튜닝에 대해 다룹니다. 연합 학습(FL)은 클라이언트의 방대한 개인 명령어 데이터 활용을 돕고 데이터 다양성을 개선하여 LLM 튜닝에 효과적입니다. 기존의 연합 튜닝은 모든 로컬 데이터를 사용하여 과도한 계산 오버헤드와 로컬 데이터 과적합을 유발하지만, 중앙 집중식 데이터 효율적인 솔루션은 개인 정보 보호 문제로 인해 FL에 적합하지 않습니다. 본 논문에서는 FedHDS라는 연합 데이터 효율적인 명령어 튜닝 방법을 제시합니다. FedHDS는 에지 측 데이터의 대표적인 하위 집합을 사용하여 LLM을 튜닝하여 원시 데이터를 공유하지 않고 클라이언트 내부 및 클라이언트 간의 데이터 중복성을 줄입니다. 다양한 LLM, 데이터셋 및 분할을 사용한 실험 결과, FedHDS는 최첨단 전체 데이터 연합 명령어 튜닝 방법보다 미지의 작업에서 Rouge-L을 평균 10.72% 향상시키는 동시에 1.5% 미만의 데이터 샘플을 사용하여 훈련 효율을 최대 10배까지 향상시키는 것을 보여줍니다.
