본 논문은 현대 멀티모달 언어 모델의 평가 및 강화 미세 조정(RFT)을 위해 널리 사용되는 객관식 질문 응답(MCQA)의 문제점을 지적하고, 이를 해결하기 위한 ReVeL(Rewrite and Verify by LLM) 프레임워크를 제안합니다. ReVeL은 객관식 질문을 개방형 질문으로 변환하여 정답 여부를 검증하며, 다양한 유형의 질문에 따라 다른 변환 및 검증 방식을 적용합니다. RFT에 적용 시, ReVeL-OpenQA를 통해 훈련된 모델이 객관식 벤치마크 정확도를 유지하면서 개방형 질문 응답 정확도를 향상시켰습니다. 또한, 평가 시 객관식 벤치마크에서 점수 부풀리기를 줄이고, 판단 정확도를 높이며, 비용과 지연 시간을 감소시켰습니다.
시사점, 한계점
•
시사점:
◦
객관식 질문의 취약점을 해결하여 모델 훈련의 효율성을 높이고, 보다 강력한 보상 신호를 제공합니다.
