본 논문은 대규모 언어 모델(LLM)의 강화 학습을 통한 인간 피드백(RLHF)에서 발생하는 가짜 상관관계 문제를 해결하기 위해 인과 관계를 통합한 새로운 보상 모델링 접근 방식을 제안합니다. 기존 RLHF는 길이 편향, 아첨, 개념적 편향, 차별 등의 편향을 유발하여 진정한 인과 관계를 포착하는 데 어려움을 겪습니다. 제안된 방법은 반사실적 불변성을 강화하여 무관한 변수가 변경될 때 보상 예측이 일관성을 유지하도록 합니다. 합성 및 실제 데이터셋 실험을 통해 다양한 유형의 가짜 상관관계를 효과적으로 완화하여 더 신뢰할 수 있고 공정한 LLM 정렬을 달성함을 보여줍니다. 기존 RLHF 워크플로우에 추가할 수 있는 실용적인 방법으로 LLM 미세 조정의 신뢰성과 공정성을 향상시킵니다.
시사점, 한계점
•
시사점:
◦
인과 관계를 고려한 보상 모델링을 통해 RLHF의 가짜 상관관계 문제를 효과적으로 완화할 수 있음을 보여줍니다.
◦
길이 편향, 아첨, 개념적 편향, 차별 등의 편향을 줄여 더 신뢰할 수 있고 공정한 LLM을 개발하는 데 기여합니다.
