Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ChartCap: Mitigating Hallucination of Dense Chart Captioning

Created by
  • Haebom

저자

Junyoung Lim, Jaewoo Ahn, Gunhee Kim

개요

ChartCap이라는 대규모 차트 캡션 데이터셋(565K 이미지-캡션 쌍)을 소개합니다. 기존 데이터셋의 한계(외부 정보 포함, 구조적 요소 및 주요 통찰력 미반영)를 극복하기 위해, 차트에서 식별 가능한 데이터만을 사용하여 캡션을 생성하는 4단계 파이프라인과 순환 일관성 기반의 인간 검증 방식을 설계했습니다. 또한, 캡션으로부터 재생성된 차트와 원본 차트의 유사성을 측정하는 새로운 지표인 Visual Consistency Score를 제안합니다. ChartCap으로 미세 조정된 모델은 기존 모델(오픈소스 및 상용)과 심지어 사람이 작성한 캡션보다 더 정확하고 정보가 풍부하며 환각 현상이 적은 캡션을 생성하는 것을 실험을 통해 확인했습니다.

시사점, 한계점

•
시사점:
◦
대규모, 고품질의 실제 차트 데이터셋 ChartCap을 제공하여 차트 캡션 생성 모델의 성능 향상에 기여.
◦
외부 정보 배제 및 구조적 요소와 주요 통찰력 강조를 통해 정확하고 정보가 풍부한 캡션 생성 가능.
◦
새로운 평가 지표인 Visual Consistency Score 제시.
◦
ChartCap으로 학습된 모델이 기존 모델 및 사람이 작성한 캡션보다 우수한 성능을 보임.
•
한계점:
◦
ChartCap 데이터셋의 생성 과정에서 발생할 수 있는 편향성에 대한 분석 부족.
◦
Visual Consistency Score의 일반화 가능성에 대한 추가 연구 필요.
◦
다양한 유형의 차트에 대한 캡션 생성 성능 비교 분석 부족.
👍
Made with Slashpage