본 논문은 다중 모달 대규모 언어 모델(MLLMs)의 문서 처리 및 번역 능력을 평가하기 위해, 실제 촬영 환경의 문서 이미지를 활용한 새로운 벤치마크 DocPTBench를 제안한다. 기존 벤치마크가 디지털 문서에 치중되어 실제 환경의 복잡한 문제를 제대로 반영하지 못하는 점을 보완하고자, DocPTBench는 1,300개 이상의 고해상도 사진 문서, 8가지 번역 시나리오, 꼼꼼한 수동 검증 주석을 제공한다. 실험 결과, 디지털 문서에서 촬영 문서로 전환 시 MLLMs 및 전문 문서 처리 모델의 성능이 크게 저하되는 것을 확인하여, 실제 환경의 문서 처리에서 기존 모델의 취약성을 드러냈다.
