Think-J: Learning to Think for Generative LLM-as-a-Judge
Created by
Haebom
저자
Hui Huang, Yancheng He, Hongli Zhou, Rui Zhang, Wei Liu, Weixun Wang, Wenbo Su, Bo Zheng, Jiaheng Liu
개요
본 논문은 대규모 언어 모델(LLM)이 생성한 응답에 대한 선호도를 자동으로 모델링하는 LLM-as-a-Judge에 대해 다룹니다. 기존 생성형 LLM의 LLM-as-a-Judge 성능이 기대에 미치지 못하는 문제를 해결하기 위해, 'Think-J'라는 새로운 방법을 제안합니다. Think-J는 소량의 정제된 데이터를 사용하여 초기 판단 능력을 갖춘 모델을 개발한 후, 강화 학습(RL)을 기반으로 판단 사고 과정을 최적화합니다. 오프라인 및 온라인 RL 기반의 두 가지 최적화 방법을 제시하며, 오프라인 RL은 평론가 모델을 훈련하여 긍정적 및 부정적 예제를 생성하고, 온라인 방법은 규칙 기반 보상을 피드백으로 사용합니다. 실험 결과, Think-J는 추가적인 인간 주석 없이 생성형 및 분류기 기반 LLM-as-a-Judge보다 우수한 평가 성능을 보임을 확인했습니다.
시사점, 한계점
•
시사점:
◦
강화학습을 통해 LLM의 응답 평가 능력을 향상시킬 수 있음을 보여줌.
◦
추가적인 인간 주석 없이도 기존 방법보다 성능이 우수한 LLM-as-a-Judge 모델을 제시함.
◦
오프라인 및 온라인 RL 두 가지 방법을 제시하여 다양한 상황에 적용 가능성을 높임.
•
한계점:
◦
제시된 방법의 성능이 특정 데이터셋에 국한될 가능성이 있음.
◦
사용된 강화학습 알고리즘의 복잡성 및 계산 비용에 대한 고려가 필요함.
◦
소량의 정제된 데이터에 의존하는 초기 모델 학습의 일반화 성능에 대한 추가적인 검증이 필요함.
