Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

RPTS: Tree-Structured Reasoning Process Scoring for Faithful Multimodal Evaluation

Created by
  • Haebom
Category
Empty

저자

Haofeng Wang, Yu Zhang

개요

대형 시각-언어 모델(LVLM)의 멀티모달 추론 능력을 평가하기 위해, 추론 과정을 고려하지 않는 기존 벤치마크의 한계를 지적하고, 추론 과정 평가를 위한 트리 구조 기반 지표인 RPTS(Reasoning Process Tree Score)를 제안합니다. RPTS는 추론 단계를 트리 구조로 구성하여 각 단계에 가중치를 부여함으로써 전반적인 추론 정확도를 평가하고 실패 지점을 파악합니다. RPTS를 검증하기 위해 RPTS-Eval 벤치마크를 구축하고, 다양한 LVLM의 성능을 평가하여 멀티모달 추론의 한계를 분석합니다.

시사점, 한계점

시사점:
LVLM의 멀티모달 추론 과정 평가를 위한 새로운 지표(RPTS) 제안
추론 과정의 세밀한 평가를 통해 모델의 실패 지점 파악
새로운 벤치마크(RPTS-Eval) 구축 및 공개
다양한 LVLM의 성능 평가 및 상용 모델과 오픈소스 모델 간 차이점 제시
멀티모달 추론 연구 발전에 기여
한계점:
논문에서 구체적인 한계점 언급은 없음.
👍