Self-Preference Bias in Rubric-Based Evaluation of Large Language Models

작성자

Haebom

카테고리

Empty

저자

Jose Pombal, Ricardo Rei, Andre F. T. Martins

💡 개요

대규모 언어 모델(LLM)의 평가에 LLM 자체를 심판으로 사용하는 방식이 널리 활용되고 있습니다. 그러나 이러한 LLM 심판은 자신이나 자신의 계열 모델이 생성한 결과물을 선호하는 자기 선호 편향(SPB)을 보이는 경향이 있습니다. 본 연구는 객관적인 루브릭을 기반으로 하는 평가 방식에서도 SPB가 존재하며, 심지어 객관적인 기준에서도 오류를 유발할 수 있음을 최초로 입증합니다. 앙상블을 통해 SPB를 완화할 수 있지만 완전히 제거하지는 못하며, 주관적인 평가에서는 모델 점수에 상당한 영향을 미칠 수 있음을 확인했습니다.

🔑 시사점 및 한계

•

LLM 기반 평가에서 자기 선호 편향(SPB)은 객관적인 루브릭 기반 평가에서도 존재하며, 평가 결과의 신뢰성을 저해할 수 있습니다.

•

SPB는 특히 주관적인 판단이 개입되거나 루브릭이 길고 복잡한 경우, 그리고 특정 주제(예: 응급 처치)에서 두드러지게 나타납니다.

•

앙상블 기법은 SPB를 완화하는 데 도움이 되지만, 완전히 제거하지는 못하므로 LLM 기반 평가 시 편향을 고려한 추가적인 보정 방법이 필요합니다.

PDF 보기

Made with Slashpage