LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
작성자
카테고리
未設定
저자
Ning Liu
💡 개요
본 논문은 LLM의 추론 능력 향상을 위해 기존의 방법론들이 가진 단점을 극복할 새로운 접근법을 제안합니다. 테스트 시점 스케일링의 핵심인 후보 추론 체인 선택 문제를 다루며, 개별 모델의 오류에 취약한 자기 일관성(self-consistency)과 레이블링 데이터 및 분포 외 성능 저하 문제가 있는 학습된 보상 모델(trained reward models)의 대안으로, 독립적으로 훈련된 모델들 간의 최종 답안 일치 정도를 활용하는 '교차 모델 합의(cross-model consensus)'를 제안합니다.
🔑 시사점 및 한계
•
새로운 검증 신호로서의 교차 모델 합의: 다양한 LLM 패널이 동일한 문제를 해결했을 때 최종 답안에 얼마나 일치하는지를 측정하는 교차 모델 합의가, 개별 모델의 점수나 자기 일관성보다 더 우수한 선택 성능을 보여줍니다. 특히 경쟁 수학 문제에서 오라클 선택기(oracle selector)와 거의 동일한 수준의 성능을 달성했습니다.
•
오류 상관관계 제거 메커니즘: 독립적으로 훈련된 모델들은 서로 다른 오류를 범하므로, 잘못된 답은 분산되는 반면 정답은 합의를 축적하게 되는 '오류 상관관계 제거(error decorrelation)' 메커니즘을 통해 교차 모델 합의의 성능이 설명됩니다.
•
수학 및 과학 추론에서의 잠재력 및 한계: 제안된 방법론은 파라미터가 없는 법칙으로 정량화될 수 있으며, 합의 정확도를 예측하고 방법론의 최대 성능을 파악할 수 있습니다. 수학 문제에서는 매우 효과적이지만, 과학 문제에서는 모델들이 공유하는 오개념으로 인해 '공유 오류 바닥(shared-error floor)'이 발생하여 성능이 제한될 수 있습니다.
•
훈련된 검증 모델과의 비교: 네 종류의 훈련된 검증 모델과 비교했을 때, 교차 모델 합의는 훈련 도메인 내에서는 가장 강력한 성능을 보였으며, 도메인 밖에서는 최고의 선택기로 입증되었습니다. 이는 교차 모델 합의가 사전 특성화를 통해 신뢰성을 판단하고 한계를 파악할 수 있는 검증자임을 시사합니다.
