본 논문은 Supervised Fine-Tuning (SFT) 대규모 언어 모델(LLM)의 훈련 데이터를 동적으로 최적화하는 프레임워크인 Middo를 소개합니다. Middo는 모델의 성능 향상에 맞춰 데이터를 지속적으로 진화시키는 것을 목표로 하며, 모델 인지적 데이터 선택과 문맥 보존 데이터 개선을 활용합니다. Tri-axial 모델 신호(손실 패턴, 임베딩 클러스터 역학, 자체 정렬 점수)를 통해 부적절한 샘플을 식별하고, 적응형 최적화 엔진을 사용하여 의미론적 무결성을 유지하면서 이를 개선합니다. 이 프레임워크는 데이터와 모델의 동적 상호 발전을 통해 지속 가능한 LLM 훈련을 위한 새로운 패러다임을 제시합니다. 실험 결과, Middo는 평균 7.15%의 정확도 향상을 보이며 기존 데이터셋 규모를 유지하면서도 우수한 성능을 보였습니다.
