본 논문은 대규모 다중 모달 모델(LMMs)의 지시어 미세조정에 필요한 방대한 데이터의 수집 및 계산 비용 문제를 해결하기 위해 연합 학습(FL) 기반의 지속적 지시어 미세조정(FCIT) 벤치마크를 제시합니다. 기존 FL 방법들이 고정된 작업 수를 가정하는 것과 달리, FCIT는 실제 환경처럼 클라이언트가 지속적으로 새로운 지식을 접하고 기존 작업을 유지하는 데 어려움을 겪는 상황을 모델링합니다. 이를 위해 두 가지 현실적인 시나리오와 네 가지 설정, 12개의 지시어 미세조정 데이터셋을 포함하는 벤치마크를 구성하고, 동적 지식 구성 및 하위 공간 선택적 활성화를 통해 다양한 데이터 이질성과 망각 문제를 해결하는 방법을 제안합니다. 실험 결과, 제안된 방법이 모델 성능을 크게 향상시킴을 보여줍니다. 코드와 데이터셋은 공개되어 있습니다.
시사점, 한계점
•
시사점:
◦
연합 학습을 활용하여 대규모 다중 모달 모델의 지시어 미세조정 비용을 줄일 수 있는 새로운 벤치마크와 방법 제시.
◦
실제 환경의 지속적인 학습 상황을 반영한 현실적인 벤치마크 제공.
◦
동적 지식 구성 및 하위 공간 선택적 활성화 기법을 통해 기존 연합 학습의 한계점인 망각 문제를 효과적으로 해결.
