Sample Efficient Preference Alignment in LLMs via Active Exploration
Created by
Haebom
Category
Empty
저자
Viraj Mehta, Syrine Belakaria, Vikramjeet Das, Ojash Neopane, Yijia Dai, Ilija Bogunovic, Barbara Engelhardt, Stefano Ermon, Jeff Schneider, Willie Neiswanger
개요
본 논문은 보상 함수 평가가 불가능한 머신러닝 분야에서 선호도 기반 피드백의 중요성을 강조하며, 특히 대규모 언어 모델의 선호도 정렬(RLHF 및 DPO 포함)에 주목합니다. 인간 피드백 획득 비용을 고려하여, 효율적인 정책 식별을 위한 맥락 선택을 활성 맥락 이중 밴딧 문제로 공식화합니다. 이를 위해 활성 탐색 알고리즘을 제안하고, 다항식 최악의 경우 후회 경계에 대한 이론적 증명을 제공합니다. 대규모 언어 모델의 선호도 정렬을 위한 온라인 및 오프라인 접근 방식 두 가지 확장을 제시하며, 실제 데이터셋(새롭게 기여한 두 개의 데이터셋 포함)을 사용한 실험에서 기존 방법보다 우수한 성능을 보임을 입증합니다.
시사점, 한계점
•
시사점:
◦
활성 학습 기법을 활용하여 인간 피드백의 효율적인 수집 및 활용 가능성을 제시.
◦
대규모 언어 모델의 선호도 정렬 문제에 대한 효과적인 해결책 제시.
◦
이론적 분석과 실험적 결과를 통해 알고리즘의 성능과 효율성 검증.
◦
새로운 데이터셋 공개를 통한 연구 활성화 기여.
•
한계점:
◦
제안된 알고리즘의 다항식 최악의 경우 후회 경계는 이론적 보장이지만, 실제 성능을 완벽하게 반영하지는 않을 수 있음.
