본 논문은 지속적으로 적응 가능한 다중 모달 대규모 언어 모델의 효율적인 배포를 저해하는 다양한 시각적 지시 데이터셋의 의미적 중복 문제를 해결하기 위해, 데이터 선택을 통한 평생 지시 미세 조정(LiIT) 방법을 제시합니다. Adapt-$\infty$라는 새로운 다중 경로 및 적응형 데이터 선택 접근 방식을 제안하는데, 이는 기울기 기반 샘플 벡터를 그룹화하여 의사 기술 클러스터를 구성하고, 각 클러스터에 대해 최적의 데이터 선택기를 선택하여 샘플링을 수행합니다. 새롭게 제안된 이미지 근거 점수(Image Grounding score)를 포함한 여러 선택기 전문가들 중에서 최고 성능을 보이는 선택기를 선택합니다. 또한, 데이터셋 풀의 크기 증가를 방지하기 위해 클러스터별 영구 데이터 가지치기 전략을 도입하여 계산 요구 사항을 관리 가능하게 유지합니다. 다양한 작업(VQA, 다국어, 근거, 추론, 언어 전용, 다중 이미지 이해 등)을 포함하는 일련의 다중 모달 지시 미세 조정 데이터셋을 통해 Adapt-$\infty$의 효과와 효율성을 검증하여, 기존 데이터의 일부만 사용하여 끔찍한 망각을 완화하고, 특히 드문 작업에 대해 전이 학습을 촉진함을 보여줍니다.
