Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GRAFT: GRaPH and Table Reasoning for Textual Alignment -- A Benchmark for Structured Instruction Following and Visual Reasoning

Created by
  • Haebom

저자

Abhigya Verma, Sriram Puttagunta, Seganrasan Subramanian, Sravan Ramachandran

개요

GRAF는 instruction-following, 시각적 추론, 시각-텍스트 정렬 작업에 대한 모델 평가를 위한 구조화된 다중 모달 벤치마크입니다. Python 시각화 라이브러리를 사용하여 생성된 프로그래밍 방식의 차트와 합성적으로 렌더링된 표를 특징으로 하며, 데이터 의미, 구조 및 명확성을 제어할 수 있습니다. 각 GRAFT 인스턴스는 차트 또는 표 이미지와 시각적 콘텐츠에만 기반한 체계적으로 생성된 다단계 분석 질문을 쌍으로 연결합니다. 답변은 JSON 또는 YAML과 같은 구조화된 형식으로 제공되어 추론과 출력 형식을 일관되게 평가할 수 있습니다. 이 벤치마크는 비교, 추세 식별, 순위 지정, 집계, 비율 추정 및 이상 탐지 등의 추론 유형 분류를 도입하여 포괄적인 평가를 가능하게 합니다. 참조 답변은 정확하고 측면 기반의 평가를 위해 엄격한 사실적 및 형식적 지침을 따릅니다. GRAFT는 시각적으로 근거한 구조화된 추론 작업에 대한 다중 모달 모델의 세분화된 벤치마킹을 위한 통합적이고 확장 가능한 프레임워크를 제공하여 이 분야의 새로운 평가 표준을 설정합니다.

시사점, 한계점

•
시사점:
◦
시각적 데이터(차트, 표)를 기반으로 한 다단계 분석 질문에 대한 모델의 추론 능력을 정확하게 평가할 수 있는 새로운 벤치마크 제공.
◦
Python 시각화 라이브러리 사용으로 데이터 의미, 구조, 명확성 제어 가능.
◦
구조화된 답변 형식(JSON, YAML)을 통해 추론 및 출력 형식의 일관된 평가 가능.
◦
다양한 추론 유형(비교, 추세 식별 등) 분류를 통한 포괄적인 평가 가능.
◦
엄격한 참조 답변 지침으로 정확하고 측면 기반의 평가 가능.
◦
다중 모달 모델의 시각적 추론 능력 평가를 위한 새로운 표준 제시.
•
한계점:
◦
합성 데이터에 기반한 벤치마크이므로 실제 데이터에 대한 일반화 성능은 검증 필요.
◦
Python 시각화 라이브러리에 의존적이므로 다른 유형의 시각 자료에는 적용 어려움.
◦
현재 제공되는 추론 유형 외 다양한 유형의 시각적 추론 작업 추가 필요.
◦
벤치마크의 규모 및 복잡성에 따라 평가에 상당한 계산 자원 필요.
👍
Made with Slashpage