Dual-Difficulty Curriculum Learning for Direct Preference Optimization

작성자

Haebom

카테고리

Empty

저자

Mengyang Li, Haozhan Geng, Zhong Zhang, Shuang Liu

💡 개요

본 논문은 대규모 언어 모델(LLM)의 정렬 성능을 향상시키기 위해 기존 커리큘럼 학습의 한계를 극복하고자 합니다. 제안된 2차원 난이도 공간(프롬프트 복잡성 및 쌍별 구별성)을 기반으로, 모델 스스로 최적의 학습 경로를 탐색하는 그룹별 자기 조절 학습 프레임워크(GSP-Curri-DPO)를 소개합니다. 이를 통해 기존 방법론 대비 우수한 성능, 데이터 효율성 및 노이즈에 대한 강건성을 달성했습니다.

🔑 시사점 및 한계

•

LLM 정렬 난이도를 프롬프트 복잡성과 쌍별 구별성의 2차원으로 재정의하여 보다 원리적인 접근을 제공합니다.

•

모델이 스스로 학습 난이도를 조절하며 최적의 학습 궤적을 발견하는 자기 조절 학습 프레임워크를 통해 새로운 표준을 제시합니다.

•

데이터 효율성 및 선호도 노이즈에 대한 강건성을 크게 향상시켰습니다.

•

제안된 2차원 난이도 공간 정의 및 학습 궤적 탐색 방법이 다른 LLM 정렬 방법론에도 적용될 수 있는지에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage