Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Leveraging Vision Capabilities of Multimodal LLMs for Automated Data Extraction from Plots

Created by
  • Haebom
Category
Empty

저자

Maciej P. Polak, Dane Morgan

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 연구 논문의 그래프에서 데이터를 자동으로 추출하는 방법을 제시합니다. 기존에는 수동으로 데이터를 추출해야 했던 복잡한 작업이었지만, 적절한 프롬프트와 엔지니어링된 워크플로우를 통해 다중 모드 LLM이 정확하게 그래프 데이터를 추출할 수 있음을 보여줍니다. PlotExtract라는 제로샷 엔지니어링 프롬프트 체인을 사용하여 미세 조정 없이도 성능을 달성하며, 합성 및 출판된 그래프에 대한 성능 평가 결과 90% 이상의 정밀도와 재현율, 5% 이하의 x, y 위치 오차를 보였습니다. 이는 다중 모드 LLM이 그래프 데이터 추출을 위한 고처리량 데이터 추출의 실행 가능한 방법이며, 많은 경우 기존의 수동 방법을 대체할 수 있음을 증명합니다. 본 연구는 두 개의 축을 가진 그래프만 고려합니다.

시사점, 한계점

시사점:
다중 모드 LLM을 이용한 그래프 데이터 자동 추출의 가능성을 제시.
기존의 수동 데이터 추출 방식을 대체할 수 있는 고처리량 데이터 추출 방법 제공.
미세 조정 없이 제로샷 프롬프트 엔지니어링을 통해 높은 정확도 달성.
한계점:
분석 대상을 두 개의 축을 가진 그래프로 제한.
다양한 유형의 그래프 및 복잡한 그래프에 대한 일반화 성능은 추가 연구 필요.
PlotExtract의 성능이 그래프의 복잡성이나 데이터의 특성에 따라 달라질 수 있음.
👍