Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mitigating Length Bias in RLHF through a Causal Lens

Created by
  • Haebom
Category
Empty

저자

Hyeonji Kim, Sujeong Oh, Sanghack Lee

개요

RLHF는 LLM을 인간의 선호도에 맞추는 데 널리 사용되지만, RLHF 훈련된 보상 모델은 종종 길이 편향을 보인다. 본 논문에서는 RLHF 보상 모델링에서 길이 편향을 분석하고 완화하기 위한 인과적 프레임워크를 제안한다. 핵심은 내용의 질과 길이 간의 분리를 위해 설계된 반사실적 데이터 증강 방법이다. 이 반사실적 예시들은 보상 모델을 훈련하는 데 사용되어, 모델이 길이와 관계없이 내용의 질을 기준으로 응답을 평가할 수 있게 한다. 구체적으로 (1) 내용이 유사하고 길이가 다른 쌍과 (2) 길이가 유사하고 내용이 다른 쌍을 구성한다. 실험 결과는 제안된 방법이 보상 할당에서 길이 편향을 줄이고, 정책 모델에서 더 간결하고 내용 중심적인 출력을 생성함을 보여준다.

시사점, 한계점

•
시사점:
◦
RLHF 보상 모델의 길이 편향 문제를 해결하기 위한 새로운 접근 방식 제시 (인과적 프레임워크 및 반사실적 데이터 증강).
◦
길이 편향 감소를 통해 정책 모델의 출력 품질 향상.
◦
RLHF 파이프라인에서 보상 모델링의 견고성과 내용 민감도 개선.
•
한계점:
◦
제시된 방법의 일반화 가능성에 대한 추가 연구 필요.
◦
다른 유형의 편향에 대한 영향 분석 부족.
◦
구체적인 반사실적 데이터 생성 방법론의 상세 설명 부족.
👍
Made with Slashpage