본 논문은 초기 단계 엔지니어링 디자인 평가에 대한 기존의 전문가 의존 방식의 한계를 지적하고, 비전-언어 모델(VLMs)을 활용한 자동화된 디자인 평가 시스템의 가능성을 제시합니다. 특히, AI 기반 평가 시스템이 전문가 수준의 평가를 달성하는지 평가하는 엄격한 통계적 프레임워크를 제안하고, 이를 통해 4가지 VLM 기반 평가 시스템과 3명의 훈련된 초보자의 평가를 '독창성', '창의성', '유용성', '도면 품질'이라는 주요 디자인 지표를 기준으로 비교 분석합니다. 다양한 인맥상황 학습(ICL) 기법을 활용한 AI 평가 시스템 중 최고 성능을 보인 시스템은 텍스트 및 이미지 기반 ICL과 추론을 사용하여 '독창성'과 '도면 품질'에서 전문가 수준의 합의를 달성했으며, 다른 지표에서도 훈련된 초보자들과 비슷하거나 뛰어난 성능을 보였습니다. 이는 추론을 지원하는 VLM 모델이 디자인 평가에서 전문가 수준의 성능을 달성할 수 있음을 시사하며, 교육 및 실무 분야에서 디자인 평가의 확장성에 대한 시사점을 제공합니다. 또한 제시된 통계적 프레임워크는 주관적인 내용 평가가 필요한 다른 분야에서 AI 평가 시스템의 유효성을 검증하는 데에도 활용될 수 있습니다.
