본 논문은 2D 엔지니어링 도면에서 핵심 정보를 정확하게 추출하기 위한 새로운 하이브리드 딥러닝 프레임워크를 제안합니다. 기존의 OCR 기법이 복잡한 레이아웃과 중복된 기호로 인해 비정형 출력을 생성하는 문제를 해결하기 위해, 방향 경계 상자(OBB) 검출 모델과 Transformer 기반 문서 파싱 모델(Donut)을 통합했습니다. YOLOv11을 사용하여 GD&T, 일반 공차, 치수, 재료, 주석, 반지름, 표면 거칠기, 나사산, 제목 블록 등 9가지 주요 범주를 검출하고, 검출된 OBB를 잘라 Donut을 미세 조정하여 구조화된 JSON 출력을 생성합니다. 모든 범주에 대해 단일 모델을 학습하는 방법과 범주별 모델을 학습하는 방법을 비교 분석한 결과, 단일 모델이 모든 평가 지표에서 더 높은 정확도(GD&T의 경우 94.77%), 재현율(대부분 100%), F1 점수(97.3%)를 달성하고 환각(5.23%)을 줄이는 것으로 나타났습니다. 이 프레임워크는 정밀도 기반 산업에서 정확성을 높이고 수동 작업을 줄이며 확장 가능한 배포를 지원합니다.
