대규모 언어 모델의 발전에 따라 공공 데이터 고갈 위험이 발생하여, 조직 내 개인 데이터를 활용하여 모델 성능을 향상시키는 것이 중요해졌습니다. 본 논문은 연합 학습과 모델 미세 조정을 결합하여 훈련 가능한 매개변수 수를 줄이는 동시에 고차원 특징 공간 처리에 따른 높은 계산 오버헤드를 해결하기 위해 Implicit Federated In-Context Learning (IFed-ICL) 프레임워크를 제안합니다. IFed-ICL은 연합 학습에서 영감을 받아, 클라이언트의 로컬 컨텍스트 예제를 암시적 벡터 표현으로 변환하여 추론 단계에서 분산 협업 계산을 가능하게 하고, 모델 잔여 스트림을 주입하여 성능을 향상시킵니다. 실험 결과 IFed-ICL은 여러 텍스트 분류 작업에서 뛰어난 성능을 보였으며, 기존의 미세 조정 방식에 비해 매개변수 업데이트를 대폭 줄이고, 연합 학습에서 데이터 전송 및 클라이언트 측 계산을 감소시켜 특정 작업에 대한 모델 성능을 효율적으로 향상시켰습니다.
