본 논문은 대규모 언어 모델(LLM)의 답변 검증을 위한 경량화된 검증 모델인 CompassVerifier와 이를 평가하기 위한 벤치마크인 VerifierBench를 제시합니다. 기존의 답변 검증 방법들은 정규 표현식이나 별도의 LLM을 사용하는 등 복잡하고, 다양한 유형의 답변이나 복잡한 예외 케이스 처리에 어려움을 겪는 한계가 있습니다. CompassVerifier는 수학, 지식, 다양한 추론 문제 등 여러 도메인에서 다양한 답변 유형(다중 하위 문제, 수식, 시퀀스 답변 등)을 처리하고 비정상적인 응답을 효과적으로 식별하는 정확하고 강력한 모델입니다. VerifierBench는 여러 데이터 소스에서 수집된 모델 출력과 메타 에러 패턴 분석을 통해 개선되었으며, CompassVerifier의 성능 평가에 사용됩니다. 본 연구는 답변 검증, 평가 프로토콜, 강화 학습 연구에 기여할 것으로 기대됩니다. 코드와 데이터셋은 공개되었습니다.
시사점, 한계점
•
시사점:
◦
LLM의 답변 검증을 위한 정확하고 강력하며 경량화된 모델인 CompassVerifier를 제시.
◦
다양한 도메인과 답변 유형을 처리하는 능력을 보여줌.
◦
CompassVerifier의 성능 평가를 위한 벤치마크인 VerifierBench를 제공.
