본 논문은 2D 엔지니어링 도면에서 핵심 정보를 정확하게 추출하기 위한 새로운 하이브리드 딥 러닝 프레임워크를 제안합니다. 기존의 OCR 기술의 한계를 극복하기 위해, 방향이 있는 경계 상자(OBB) 검출 모델(YOLOv11)과 트랜스포머 기반 문서 파싱 모델(Donut)을 통합했습니다. 9가지 주요 범주(GD&T, 일반 공차, 치수, 재료, 주석, 반지름, 표면 거칠기, 나사산, 제목 블록)를 검출하고, Donut을 미세 조정하여 구조화된 JSON 출력을 생성합니다. 모든 범주에 대해 단일 모델을 학습하는 방식과 범주별 모델을 학습하는 방식을 비교하여, 단일 모델이 모든 평가 지표에서 더 높은 정확도(GD&T에 대해 94.77%), 재현율(대부분 100%), F1 점수(97.3%)를 달성하고 환각(5.23%)을 줄이는 것을 확인했습니다. 이 프레임워크는 정밀도가 중요한 산업에서 정확도 향상, 수동 작업 감소 및 확장 가능한 배포를 지원합니다.
