Preference Leakage: A Contamination Problem in LLM-as-a-judge
Created by
Haebom
저자
Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu
개요
본 논문은 대규모 언어 모델(LLM)을 판정자로 활용하고 LLM 기반 데이터 합성을 통해 모델을 개발하는 과정에서 발생하는 오염 문제, 특히 '선호도 유출(preference leakage)' 문제를 다룬다. LLM 기반 판정자와 합성 데이터 생성기 간의 연관성(동일 모델, 상속 관계, 동일 모델 계열)으로 인해 판정자가 특정 모델에 대한 선호도를 보이는 현상을 밝히고, 다양한 LLM과 벤치마크를 통해 실험적으로 증명한다. 기존의 LLM 판정자 편향 문제보다 탐지가 어려운, 널리 퍼져있는 실제 문제임을 강조하며, 관련 코드와 데이터를 공개한다.
시사점, 한계점
•
시사점:
◦
LLM 기반 모델 개발에서 선호도 유출이라는 새로운 오염 문제를 제기하고 그 심각성을 보여줌.
