SciMDR: Advancing Scientific Multimodal Document Reasoning

Thu, 30 Apr 2026 07:53:02 GMT

### 저자

Ziyu Chen, Yilun Zhao, Chengye Wang, Rilyn Han, Manasi Patwardhan, Arman Cohan

### 💡 개요

본 논문은 과학 논문과 같은 멀티모달 문서에 대한 이해 및 추론 능력을 향상시키기 위해 SciMDR이라는 대규모 학습 데이터셋과 SciMDR-Eval이라는 평가 벤치마크를 제안합니다. 기존 데이터셋 구축의 한계를 극복하기 위해 '합성-재정렬' 프레임워크를 통해 정확하고 현실적인 QA 쌍과 명시적인 추론 과정을 생성하며, 이를 통해 과학 QA 벤치마크에서 모델의 복잡한 문서 수준 추론 능력을 크게 향상시켰습니다.

### 🔑 시사점 및 한계

- 멀티모달 과학 문서 이해를 위한 대규모 합성 데이터셋 구축 프레임워크의 효과성을 입증했습니다.

- 복잡한 문서 수준의 추론 능력이 중요한 과학 QA 태스크에서 파인튜닝 모델의 성능 향상을 확인했습니다.

- 합성 데이터셋 구축 과정의 잠재적인 편향성 및 실제 인간 추론과의 미묘한 차이에 대한 추가적인 탐구가 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2603.12249)