Democratic Preference Alignment via Sortition-Weighted RLHF

Created by

Haebom

저자

Suvadip Sana, Jinzhou Wu, Martin T. Wells

💡 개요

인간 평가자 풀의 편향성 문제를 해결하기 위해, 본 논문은 민주적인 시민 참여 방식인 무작위 추첨(sortition)을 활용한 강화학습 기반 인간 피드백(RLHF) 방법론인 DemPO를 제안합니다. DemPO는 할당된 쿼터를 만족하는 미니 공중 표본만을 사용하거나, 모든 데이터를 사용하되 평가자별 가중치를 조절하여, AI가 더욱 대표성 있는 집단의 가치를 학습하도록 합니다. 실험 결과, DemPO를 적용한 모델이 무작위 추출된 대표적인 미국 공중 패널의 헌법 조항을 더 잘 반영하는 것으로 나타났습니다.

🔑 시사점 및 한계

•

AI 정렬 과정에서 평가자 풀의 인구 통계학적 대표성을 확보하는 것이 AI 모델의 가치 반영에 중요하다는 점을 시사합니다.

•

편향되지 않은 평가자 풀을 구성하는 것이 AI가 학습해야 할 가치를 결정하는 데 핵심적인 역할을 할 수 있음을 보여줍니다.

•

대규모 언어 모델의 인지적 능력과 DemPO의 효과가 비례적으로 증가하는 것을 확인하여, 향후 더 큰 규모의 모델에서도 효과를 기대할 수 있습니다.

•

본 연구는 평가자 풀의 대표성에 초점을 맞추었으나, 실제 AI 정렬에 있어 다양한 이해관계자의 가치를 포괄하는 것은 여전히 복잡한 과제로 남아 있습니다.

PDF 보기

Made with Slashpage