본 논문은 대규모 언어 모델(LLM)의 미세 조정 성능이 훈련 데이터 혼합 구성에 크게 의존하지만, 최적의 데이터 혼합 비율 선택이 수동적이고 휴리스틱에 의존하는 과정이라는 점을 지적합니다. 따라서 연구진은 Markov Random Field (MRF) 상의 에너지 함수를 최소화하여 연속적인 작업 비율을 선택하는 체계적이고 확장 가능한 프레임워크인 TASKPGM을 제시합니다. TASKPGM은 단일 작업 미세 조정 모델의 예측 분포에서 계산된 Jensen Shannon Divergence 및 Pointwise Mutual Information과 같은 행동적 차이를 사용하여 작업 관계를 모델링합니다. 단체 제약 조건 하에서 폐쇄형 솔루션을 제공하며, 작업 간의 대표성과 다양성의 균형을 보장합니다. Llama 2와 Mistral에서 MMLU 및 BIGBench와 같은 평가 세트에서 일관된 경험적 성능 향상을 보여주며, 작업 영향과 혼합 구성에 대한 해석 가능한 통찰력을 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM 미세 조정을 위한 체계적이고 확장 가능한 데이터 혼합 최적화 프레임워크 TASKPGM 제시
◦
단일 작업 미세 조정 모델의 예측 분포를 사용한 작업 관계 모델링으로, 대표성과 다양성의 균형을 이룸
◦
Llama 2와 Mistral에서 MMLU 및 BIGBench와 같은 평가 세트에서 성능 향상을 입증
