Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MallowsPO: Fine-Tune Your LLM with Preference Dispersions

Created by
  • Haebom

저자

Haoxian Chen, Hanyang Zhao, Henry Lam, David Yao, Wenpin Tang

개요

본 논문은 인간 피드백을 활용한 강화 학습(RLHF)에서 인기있는 방법인 직접 선호도 최적화(DPO)의 한계를 극복하기 위해 MallowsPO라는 새로운 접근 방식을 제시합니다. MallowsPO는 인간 선호도의 분산을 반영하는 분산 지수를 도입하여 기존 DPO 모델들을 통합하고, Mallows의 선호도 순위 이론에 기반합니다. 실험 결과, 다양한 벤치마크 작업(합성 밴딧 선택, 제어 가능한 생성 및 대화 등)에서 DPO 성능을 향상시키고 우수한 일반화 성능을 유지함을 보여줍니다. 또한, Llama3-Instruct 미세 조정에 플러그인으로 사용했을 때 약 2%의 LC 승률 향상을 보이며 기존 최첨단 오프라인 선호도 최적화 방법과의 호환성도 입증합니다.

시사점, 한계점

•
시사점:
◦
인간 선호도의 다양성을 고려하여 DPO의 성능을 향상시키는 새로운 방법(MallowsPO) 제시.
◦
기존 DPO 모델들을 MallowsPO의 특수한 경우로 통합하는 이론적 틀 제공.
◦
분산 지수를 활용하여 다양한 작업에서 DPO 성능 개선 및 일반화 성능 유지 확인.
◦
기존 최첨단 방법과의 호환성을 통해 추가적인 성능 향상 가능성 제시.
•
한계점:
◦
본 논문에서 제시된 실험 결과의 일반화 가능성에 대한 추가적인 검증 필요.
◦
MallowsPO의 분산 지수 계산 및 최적화 과정의 계산 비용 및 효율성에 대한 추가적인 분석 필요.
◦
다양한 인간 선호도 분포에 대한 MallowsPO의 로버스트성(robustness)에 대한 추가적인 연구 필요.
👍
Made with Slashpage