본 논문은 사전 훈련된 거대 언어 모델(LLM)의 파인튜닝(SFT) 단계에서 최소한의 감독만 필요하다는 가설(Zhou et al., 2024)을 바탕으로, 데이터 큐레이션 및 선택 연구의 최근 발전에 대해 논의합니다. 하지만 기존 연구는 실험 설정 및 검증 프로토콜에 취약하여 안정성과 일반화 성능이 떨어지고 무작위 샘플링을 뛰어넘지 못하는 한계를 보였습니다 (Diddee & Ippolito, 2024; Xia et al., 2024b). 본 연구는 다중 모달 거대 언어 모델(MLLM)에 주목하여, 방대한 토큰 양과 이질적인 데이터 소스의 복잡성을 고려하여 강력하고 효율적인 다중 모달 지시 데이터 수집 방법을 제시합니다. 14가지 시각-언어 관련 기능으로 품질 지표의 세분화를 재정의하고, 다중 모달 풍부 점수 매기기를 통해 각 데이터 후보의 기능을 평가합니다. 다양성을 위해 상호 작용 스타일을 다양성 지표로 사용하고 다중 모달 스타일러를 통해 데이터 지시 패턴을 식별합니다. 제안하는 다중 모달 풍부 점수 매기기 및 스타일러(mmSSR)는 고득점 정보가 다양한 형태로 사용자에게 전달되도록 합니다. 임베딩 기반 클러스터링이나 탐욕적 샘플링 없이, mmSSR은 수백만 개의 데이터에 효율적으로 확장 가능하며, 일반적 또는 특정 기능 획득을 위한 사용자 지정을 지원하고, 새로운 도메인에 대한 훈련 없는 일반화를 가능하게 합니다. 10개 이상의 실험 설정과 14개의 다중 모달 벤치마크를 통해 무작위 샘플링, 기준 전략 및 최첨단 선택 방법보다 일관되게 향상된 성능을 보이며, 260만 개 데이터 중 30%만으로 전체 성능의 99.1%를 달성했습니다.
