DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections
작성자
- Haebom
카테고리
Empty
저자
Haebin Shin, Lei Ji, Xiao Liu, Zhiwei Yu, Qi Chen, Yeyun Gong
개요
본 논문은 사후 학습 단계에서 지속적으로 등장하는 다수의 instruction-tuning 데이터셋의 혼합을 동적으로 조정하고 최적화하는 방법인 DynamixSFT를 제안합니다. 이는 다중 팔 밴딧 문제로 공식화되며, Prior-scaled Boltzmann Exploration을 통해 업데이트된 샘플링 분포를 원래 데이터셋 비율에 부드럽게 고정하여 데이터셋의 다양성과 적용 범위를 유지합니다. 1-Step Look-ahead Reward를 사용하여 샘플링 확률을 업데이트하며, 이는 데이터셋이 현재 모델 성능 향상에 얼마나 기여하는지를 반영합니다. 16개의 instruction-tuning 데이터셋으로 구성된 Tulu-v2-mixture 컬렉션에 적용한 결과, 10개의 벤치마크에서 최대 2.2%의 성능 향상을 달성했습니다. 또한, 방법의 적응적 동역학에 대한 심층적인 통찰력을 제공하기 위해 포괄적인 분석과 시각화를 제공합니다.
시사점, 한계점
•
시사점:
◦
다수의 instruction-tuning 데이터셋을 효율적으로 활용하여 모델 성능을 향상시키는 새로운 방법 제시.
◦
Prior-scaled Boltzmann Exploration을 통해 데이터셋의 다양성과 적용 범위를 효과적으로 유지.
◦
1-Step Look-ahead Reward를 통해 경량화된 업데이트 전략 제시.
◦
Tulu-v2-mixture 컬렉션에서 실질적인 성능 향상을 입증.
•
한계점:
◦
제안된 방법의 성능 향상이 특정 데이터셋 조합 및 벤치마크에 국한될 가능성.
◦
다양한 크기와 특성을 가진 다른 데이터셋 컬렉션에 대한 일반화 성능 검증 필요.
◦
1-Step Look-ahead Reward의 단순성이 장기적인 성능 최적화에 제한을 가할 수 있음.
◦
다른 instruction-tuning 방법과의 비교 분석이 부족.
