본 논문은 대규모 언어 모델(LLM)의 정렬을 위해 인간 선호도를 활용하는 최근 성공 사례를 바탕으로, 효율적인 능동적 데이터 선택 방법의 필요성을 제기합니다. 기존 방법들의 이론적 기반 부족 및 제한적인 보상 함수 가정(예: 선형성) 문제점을 지적하며, 비선형 보상 함수에 대해 이론적으로 뒷받침되는 데이터 선택 기준을 사용하는 알고리즘 ActiveDPO를 제안합니다. ActiveDPO는 LLM 자체를 활용하여 능동적 데이터 선택에 사용되는 보상 모델의 매개변수를 설정함으로써, LLM의 영향을 명시적으로 고려하여 보다 효과적이고 효율적인 데이터 수집을 가능하게 합니다. 실험 결과, ActiveDPO는 다양한 모델과 데이터셋에서 기존 방법들을 능가하는 성능을 보였습니다.
