본 논문은 대규모 언어 모델(LLM)의 지도 학습 미세 조정(SFT)을 위한 새로운 프레임워크인 Middo를 제안합니다. 기존의 정적 데이터셋 기반 접근 방식의 한계를 극복하기 위해, Middo는 모델의 성능에 따라 스스로 진화하는 동적 데이터 최적화 시스템을 구축합니다. Middo는 손실 패턴, 임베딩 클러스터 역학, 자기 정렬 점수를 사용하여 비효율적인 샘플을 식별하고, 이를 교육적으로 가치 있는 샘플로 변환하는 과정을 거칩니다. 이러한 과정을 통해 모델의 능력 향상에 따라 지속적으로 데이터셋을 개선하며, 여러 벤치마크 실험에서 평균 7.15%의 정확도 향상을 보였습니다. 이는 데이터와 모델의 동적 상호 진화를 통한 지속 가능한 LLM 학습의 새로운 패러다임을 제시합니다.
