본 논문은 대규모 언어 모델(LLM)의 성능이 평가 작업과 관련된 훈련 데이터의 적합성에 크게 의존하지만, 실제로는 미지의 평가 작업에 관련된 데이터가 종종 알려지지 않는다는 문제를 다룹니다. 따라서 특정 미지의 평가 작업에서 LLM의 성능을 극대화하기 위해 어떤 데이터가 관련되는지 명확하지 않습니다. 본 논문은 미지의 평가 작업으로부터의 피드백(예: 사용자 평점)을 통해 훈련 데이터 혼합을 최적화하는 새로운 관점을 제시합니다. 이를 위해 DUET이라는 새로운 전역-지역 알고리즘을 제시하는데, 이 알고리즘은 영향 함수를 데이터 선택 방법으로, 베이지안 최적화를 데이터 혼합 최적화 방법으로 사용하여 미지의 특정 평가 작업으로부터의 피드백을 통해 데이터 혼합을 최적화합니다. 이론적으로 DUET의 누적 후회를 분석하여 작업에 대한 데이터 지식 없이도 미지의 작업에 대한 최적의 훈련 데이터 혼합에 수렴함을 보였고, 다양한 언어 작업에 대한 실험을 통해 DUET이 미지의 작업 설정에서 기존 데이터 선택 및 혼합 방법보다 성능이 우수함을 보여줍니다.
