Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval
Created by
Haebom
저자
Alexander Most, Joseph Winjum, Ayan Biswas, Shawn Jones, Nishath Rajiv Ranasinghe, Dan O'Malley, Manish Bhattarai
개요
본 논문은 Retrieval-Augmented Generation (RAG) 시스템에서 Optical Character Recognition (OCR) 기반 접근 방식과 비전 기반 접근 방식(ColPali)의 성능을 비교 분석합니다. Llama 3.2 (90B)와 Nougat OCR을 사용하여 다양한 문서 품질에 대한 실험을 진행하고, 기존의 검색 정확도 측정 방식 외에 의미론적 답변 평가 벤치마크를 도입하여 종단 간 질의응답 성능을 평가했습니다. 실험 결과, 비전 기반 RAG는 학습 데이터에 대해서는 우수한 성능을 보이지만, OCR 기반 RAG가 다양한 품질의 미지의 문서에 대해 더 나은 일반화 성능을 보이는 것을 확인했습니다. 계산 효율성과 의미 정확도 사이의 상충 관계를 강조하며, 실제 환경에서 OCR 의존적 시스템과 비전 기반 시스템 선택에 대한 실용적인 지침을 제공합니다.
시사점, 한계점
•
시사점:
◦
비전 기반 RAG와 OCR 기반 RAG의 성능 차이를 다양한 문서 품질에 대해 체계적으로 비교 분석하여 실제 적용에 대한 통찰력을 제공합니다.
◦
의미론적 답변 평가 벤치마크를 도입하여 종단 간 질의응답 성능 평가의 새로운 기준을 제시합니다.
◦
계산 효율성과 의미 정확도 사이의 trade-off를 명확히 제시하여 RAG 시스템 선택에 대한 실용적인 가이드라인을 제공합니다.
•
한계점:
◦
비전 기반 RAG의 일반화 성능 향상에 대한 추가 연구가 필요합니다.
◦
사용된 OCR 및 LLM의 종류에 따라 결과가 달라질 수 있으므로, 더욱 다양한 모델에 대한 실험이 필요합니다.
◦
특정 문서 유형에 편향된 결과일 가능성을 고려하여 다양한 유형의 문서에 대한 추가 실험이 필요합니다.
