Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

InfoCausalQA:Can Models Perform Non-explicit Causal Reasoning Based on Infographic?

Created by
  • Haebom

저자

Keummin Ka, Junhyeong Park, Jaehyun Jeon, Youngjae Yu

개요

본 논문은 시각 언어 모델(VLMs)의 인과 추론 능력을 평가하기 위한 새로운 벤치마크인 InfoCausalQA를 제안합니다. InfoCausalQA는 구조화된 시각 데이터와 텍스트 정보를 결합한 인포그래픽을 기반으로 인과 추론을 평가하는 두 가지 과제(정량적 인과 추론, 의미적 인과 추론)로 구성됩니다. 4개의 공개 자료에서 수집한 494개의 인포그래픽-텍스트 쌍을 바탕으로 GPT-4를 이용하여 1,482개의 다지선다형 질문-답변 쌍을 생성하고, 표면적 단서만으로는 답을 얻을 수 없도록 수동으로 검토했습니다. 실험 결과, 기존 VLMs는 계산적 추론 및 의미적 인과 추론에서 모두 제한적인 능력을 보였으며, 인간과 비교하여 상당한 성능 차이를 보였습니다. 이를 통해 인포그래픽 기반 정보를 활용한 인과 추론 능력 향상의 필요성을 강조합니다.

시사점, 한계점

시사점:
인포그래픽 기반의 인과 추론을 평가하는 새로운 벤치마크인 InfoCausalQA를 제시.
기존 VLMs의 인과 추론 능력, 특히 의미적 인과 추론 능력의 한계를 명확히 제시.
다중 모달 AI 시스템의 인과 추론 능력 향상에 대한 연구 방향 제시.
한계점:
InfoCausalQA 벤치마크의 규모가 상대적으로 작을 수 있음. (데이터 셋의 크기 제한)
GPT-4에 의존하여 질문 생성. GPT-4의 한계가 결과에 영향을 미칠 수 있음.
인간의 수동 검토 과정에 의존하여 객관성 확보에 대한 추가적인 검토가 필요할 수 있음.
👍