Uncovering Factor Level Preferences to Improve Human-Model Alignment
Created by
Haebom
Category
Empty
저자
Juhyun Oh, Eunsu Kim, Jiseon Kim, Wenda Xu, Inha Cha, William Yang Wang, Alice Oh
개요
대규모 언어 모델(LLM)은 종종 인간의 선호도와 일치하지 않는 경향을 보입니다. 이러한 문제점을 해결하기 위해 본 논문에서는 LLM과 인간의 선호도 간의 요인 수준 정렬을 발견하고 측정하는 자동화된 프레임워크인 PROFILE을 소개합니다. PROFILE을 사용하여 요약, 지시 따르기, 문서 기반 질의응답의 세 가지 주요 작업에서 선호도 정렬을 분석했습니다. LLM은 텍스트 생성 시 인간 선호도와 요인 수준 정렬이 낮지만, 판별 작업에서는 높은 정렬을 보였습니다. 이러한 생성-판별 격차를 활용하여 자체 지침을 통한 미세 조정 등 여러 접근 방식을 통해 LLM 정렬을 개선할 수 있음을 입증했습니다.
시사점, 한계점
•
시사점:
◦
LLM과 인간 선호도 간의 숨겨진 불일치를 파악하기 위한 요인 수준 분석의 가치를 강조합니다.
