Who can we trust? LLM-as-a-jury for Comparative Assessment

작성자

Haebom

카테고리

Empty

저자

Mengjie Qian, Guangzhi Sun, Mark J. F. Gales, Kate M. Knill

💡 개요

이 연구는 대규모 언어 모델(LLM)을 자동 평가자로 사용할 때 발생하는 판결 확률의 불일치 문제를 해결하기 위해 LLM-as-a-jury 접근 방식을 제안합니다. 이를 위해 각 LLM 판사의 신뢰도를 함께 추론하는 BT-sigma 모델을 개발했으며, 실험 결과 기존 평균 기반 집계 방법보다 우수한 성능을 보였습니다. BT-sigma는 판사의 신뢰도를 모델링하여 평가 집계를 개선하는 비지도 학습 기반 보정 메커니즘으로 해석될 수 있습니다.

🔑 시사점 및 한계

•

LLM 판사의 신뢰도 차이를 고려한 모델링은 비교 평가의 정확도를 크게 향상시킬 수 있습니다.

•

별도의 인간 레이블 없이도 LLM 판사의 신뢰도를 추론하고 평가 집계를 개선할 수 있는 가능성을 제시합니다.

•

제안된 BT-sigma 모델의 성능이 특정 작업이나 평가 측면에서 LLM 판사의 실제 신뢰도 편차를 얼마나 효과적으로 완화하는지에 대한 추가적인 탐구가 필요합니다.

PDF 보기

Made with Slashpage