An Online Reference-Free Evaluation Framework for Flowchart Image-to-Code Generation

작성자

Haebom

카테고리

Empty

저자

Giang Son Nguyen, Zi Pong Lim, Sarthak Ketanbhai Modi, Yon Shin Teo, Wenya Wang

💡 개요

본 논문은 실제 서비스 환경에서 기존 코드(ground-truth)가 없는 상황에서도 플로우차트 이미지에서 생성된 코드의 품질을 실시간으로 평가할 수 있는 새로운 방법론을 제안합니다. 제안된 프레임워크는 입력 이미지와 생성된 코드만을 활용하여, OCR 기반 내용 커버리지 측정 ($\text{Recall}{\text{OCR}}$)과 시각적 함의 기반 허위 요소 탐지 ($\text{Precision}{\text{VE}}$)라는 두 가지 자동화된 지표를 도입합니다. 이 두 지표의 조화 평균인 $\text{F1}{\text{OCR-VE}}$는 통합적인 품질 점수를 제공하며, FlowVQA 데이터셋 검증 결과 기존 데이터와의 높은 상관관성을 보여 실용성을 입증했습니다.

🔑 시사점 및 한계

•

실제 운영 환경에서 정답 코드 없이도 플로우차트 이미지-코드 생성 모델의 품질을 지속적으로 모니터링할 수 있는 실용적인 프레임워크를 제공합니다.

•

OCR을 통한 내용 커버리지 평가와 시각적 함의를 이용한 허위 요소 탐지라는 두 가지 자동화된 지표를 결합하여 신뢰성 높은 품질 점수를 산출합니다.

•

OCR의 정확도 및 시각적 함의 모델의 성능에 따라 평가 결과가 영향을 받을 수 있으며, 복잡하거나 미묘한 플로우차트 구조에 대한 평가의 정확도 향상이 필요할 수 있습니다.

PDF 보기

Made with Slashpage