본 논문은 대규모 언어 모델(LLM)을 정렬하기 위해 인간 피드백으로부터 강화 학습(RLHF)을 적용할 때 안전한 기반 모델을 구축하는 데 있어 보상 모델링이 중요한 단계임을 강조합니다. 기존의 Bradley-Terry(BT) 모델 기반 보상 모델링은 전역적 보상 함수를 가정하여 인간의 다양하고 이질적인 선호도를 제대로 포착하지 못하는 한계를 지적합니다. 이러한 단순화는 LLM이 개인화 및 다원적 정렬을 지원하는 데 제한을 줍니다. 본 논문에서는 명시적인 세분화된 주석 없이 대규모 이진 선호도 데이터셋을 활용하여 개인화된 선호도 학습을 향상시키는 2단계 프레임워크인 MiCRo를 제시합니다. MiCRo는 첫 번째 단계에서 다양한 인간 선호도를 포착하기 위해 상황 인식 혼합 모델링 접근 방식을 도입하고, 두 번째 단계에서는 특정 상황에 따라 혼합 가중치를 동적으로 조정하는 온라인 라우팅 전략을 통합하여 모호성을 해결합니다. 여러 선호도 데이터셋에 대한 실험을 통해 MiCRo가 다양한 인간 선호도를 효과적으로 포착하고 후속 개인화를 크게 향상시킴을 보여줍니다.
시사점, 한계점
•
시사점:
◦
대규모 이진 선호도 데이터셋을 활용하여 명시적인 세분화된 주석 없이 개인화된 선호도 학습을 효과적으로 수행할 수 있는 새로운 프레임워크 MiCRo를 제시.
◦
상황 인식 혼합 모델링과 온라인 라우팅 전략을 통해 다양하고 이질적인 인간 선호도를 효과적으로 포착하고 개인화된 LLM 정렬을 향상.
◦
기존의 다목적 학습 방식보다 효율적이고 확장성 있는 개인화된 선호도 적응 가능.
•
한계점:
◦
MiCRo의 성능은 사용된 대규모 이진 선호도 데이터셋의 품질에 의존적일 수 있음.
◦
온라인 라우팅 전략의 성능은 상황 인식 혼합 모델링의 정확도에 의존적일 수 있음.
◦
실험 결과는 제시된 특정 데이터셋에 국한될 수 있으며, 다른 데이터셋이나 LLM에 대한 일반화 가능성은 추가 연구가 필요함.
