RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization

작성자

Haebom

카테고리

Empty

저자

Qiming Bao, Juho Leinonen, Paul Denny, Michael J. Witbrock

💡 개요

본 논문은 기존 DPO 방식이 지식 집약적 생성에서 발생하는 유창성 편향 문제를 해결하기 위해, 논리적 정확성과 유창성을 균형 있게 확보하는 RLearner-LLM과 Hybrid-DPO를 제안합니다. Hybrid-DPO는 DeBERTa-v3 NLI 신호와 검증 LLM 점수를 융합하여 인간 주석 없이도 자동화된 선호도 파이프라인을 구축합니다. 이를 통해 SFT 모델 대비 NLI 정확도를 최대 6배 향상시키고, 다양한 모델 아키텍처와 학문 분야에서 일관된 성능 개선을 달성했습니다.

🔑 시사점 및 한계

•

새로운 선호도 학습 프레임워크: Hybrid-DPO는 인간 주석 부담을 줄이면서도 논리적 정확성을 높이는 효과적인 자동화된 선호도 학습 방법론을 제시합니다.

•

지식 집약적 생성에서의 LLM 편향 극복: 유창성만을 강조하는 기존 LLM 평가의 한계를 지적하고, NLI, ACR과 같은 논리 기반 평가 지표의 중요성을 강조합니다.

•

범용성 및 확장성: 다양한 LLM 아키텍처와 학문 분야에 적용 가능하며, 소형 모델에서도 효과적인 성능 향상을 보여주어 확장성을 입증했습니다.

•

계산 비용 및 데이터셋 의존성: Hybrid-DPO의 효율성에도 불구하고, NLI 모델 학습 및 검증 LLM 구축에 필요한 계산 비용과 특정 데이터셋에 대한 성능 의존성은 향후 연구 과제로 남습니다.

PDF 보기

Made with Slashpage