Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Bounding Box is Worth One Token: Interleaving Layout and Text in a Large Language Model for Document Understanding

Created by
  • Haebom

저자

Jinghui Lu, Haiyang Yu, Yanjie Wang, Yongjie Ye, Jingqun Tang, Ziwei Yang, Binghong Wu, Qi Liu, Hao Feng, Han Wang, Hao Liu, Can Huang

개요

본 논문에서는 문서 이해를 위한 새로운 Large Language Model(LLM) 기반 접근 방식인 LayTextLLM을 제시합니다. 기존 방법들이 OCR 추출 텍스트와 공간 레이아웃을 LLM에 통합하는 과정에서 긴 시퀀스 생성이나 LLM의 자동 회귀 특성을 충분히 활용하지 못하는 한계를 지적하며, LayTextLLM은 각 바운딩 박스를 단일 임베딩으로 투영하여 텍스트와 섞어(interleaving) 이러한 문제를 효과적으로 해결합니다. KIE(Knowledge Information Extraction)와 VQA(Visual Question Answering) 작업에서 기존 최고 성능의 OCR 기반 LLM 대비 각각 15.2%와 10.7%의 성능 향상을 보이며, GitHub에 모든 리소스를 공개했습니다.

시사점, 한계점

•
시사점:
◦
LLM 기반 문서 이해에서 긴 시퀀스 문제를 효과적으로 해결하는 새로운 방법 제시.
◦
레이아웃 정보와 텍스트 정보의 효율적인 통합을 통한 성능 향상.
◦
KIE와 VQA 작업에서 기존 최고 성능을 능가하는 성능 달성.
◦
오픈소스 공개를 통한 연구 재현성 및 확장성 증대.
•
한계점:
◦
제시된 방법의 일반화 성능에 대한 추가적인 검증 필요.
◦
다양한 유형의 문서 및 레이아웃에 대한 로버스트니스 평가 필요.
◦
특정 데이터셋에 대한 과적합 가능성 검토 필요.
👍
Made with Slashpage