본 논문은 대규모 다중 모드 모델(LMMs)의 지시어 미세 조정에 필요한 방대한 데이터와 높은 계산 비용 문제를 해결하기 위해, 연합 학습(FL) 기반의 지속적 지시어 미세 조정(FCIT) 벤치마크를 제안합니다. 기존 연합 학습의 한계인 고정된 작업 수 가정을 극복하고, 실제 환경처럼 지속적으로 새로운 지식을 학습하고 기존 지식을 유지해야 하는 상황을 고려하여 설계되었습니다. 벤치마크는 4가지 설정과 12개의 지시어 미세 조정 데이터셋으로 구성되며, 동적 지식 구성 및 하위 공간 선택적 활성화를 통해 다양한 데이터 이질성과 망각 문제를 해결하는 방법을 제시합니다. 실험 결과, 제안된 방법이 성능 향상을 보였으며, 소스 코드와 데이터셋을 공개할 예정입니다.
