Sign In

GeoFM: Enhancing Geometric Reasoning of MLLMs via Synthetic Data Generation through Formal Language

Created by
  • Haebom
Category
Empty

저자

Yuhao Zhang, Dingxin Hu, Tinghao Yu, Hao Liu, Yiting Liu

개요

본 논문은 멀티 모달 대규모 언어 모델(MLLMs)의 기하 추론 능력 향상을 위해, 고품질 기하 데이터를 생성하는 GeoFM이라는 새로운 방법을 제안한다. 기존 방법의 데이터 다양성 부족, 노이즈, 제한적인 이미지 변형 등의 한계를 극복하고자, 형식 언어를 사용하여 메트릭 공간 내 조건 조합을 탐색하고, 기호 엔진을 통해 정확성을 보장하는 고품질 기하 문제를 생성한다. 실험 결과, GeoFM으로 생성된 데이터는 기존 방법보다 우수한 성능을 보이며, MathVista 및 GeoQA 벤치마크에서 GPT-4o 및 주요 오픈 소스 모델을 능가하는 성과를 달성했다.

시사점, 한계점

시사점:
새로운 기하 데이터 생성 방법론 제시: 형식 언어와 기호 엔진을 활용하여 고품질의 기하 문제를 생성하는 GeoFM 개발
SOTA 달성: 자체 생성 데이터를 통해 MathVista 및 GeoQA에서 GPT-4o 및 오픈 소스 모델의 성능을 능가함
기하 추론 연구의 진전: MLLMs의 기하 추론 능력 향상에 기여
한계점:
구체적인 GeoFM의 구현 방식 및 기술적 세부 사항에 대한 정보 부족
생성된 데이터의 일반화 가능성 및 다른 기하 문제 유형에 대한 성능 평가 필요
계산 복잡성 및 효율성에 대한 추가적인 분석 요구
👍