Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry

작성자

Haebom

카테고리

Empty

저자

Zhuochun Li, Yong Zhang, Ming Li, Yuelyu Ji, Yiming Zeng, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao, Daqing He

💡 개요

본 연구는 대규모 언어 모델(LLM)을 평가자로 사용하는 기존 패러다임("LLM-as-a-Judge")의 비용, 불투명성, 프롬프트 민감성 문제를 해결하기 위해, 소형 언어 모델(SLM)이 표면적인 생성 대신 내부 표현을 활용하여 효율적인 평가자로 기능할 수 있음을 제시합니다. '의미론적 용량 비대칭 가설'을 통해 평가가 생성보다 적은 의미론적 용량을 요구하며, 소형 모델의 중간 표현에서 추출 가능함을 증명합니다. 이에 따라, 생성 없이 내부 구조를 탐색하는 'Representation-as-a-Judge' 패러다임을 제안하며, 이를 구현한 INSPECTOR는 기존 소형 LLM 기반 평가자보다 뛰어나고 대규모 LLM 평가자와 유사한 성능을 보입니다.

🔑 시사점 및 한계

•

소형 언어 모델의 내부 표현이 풍부한 평가 신호를 담고 있어, 생성 능력과 무관하게 효과적인 평가 도구로 활용될 수 있습니다.

•

'Representation-as-a-Judge' 패러다임은 기존 'LLM-as-a-Judge'의 한계를 극복하고, 효율적이며 신뢰성 있고 해석 가능한 평가 방법을 제공합니다.

•

본 연구는 평가 작업이 생성 작업보다 요구하는 의미론적 용량이 적다는 '의미론적 용량 비대칭 가설'을 실증적으로 뒷받침합니다.

•

현재 제안된 INSPECTOR 프레임워크는 특정 벤치마크에서 우수한 성능을 보였으나, 다양한 유형의 평가 작업 및 복잡한 데이터셋에 대한 일반화 가능성은 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage