본 논문은 과학 논문의 시스템 아키텍처 다이어그램 자동 생성 분야의 발전을 촉진하기 위해 설계된 새로운 벤치마크를 소개한다. 기존 연구의 한계점인 표준화된 평가 기준 부재를 해결하기 위해, 3,000개의 연구 논문과 고품질의 해당 다이어그램을 짝을 이루는 벤치마크를 구축하고, 의미 정확성, 레이아웃 일관성, 시각적 품질을 평가하는 3단계 평가 지표를 제시한다. 또한, 이 벤치마크에 대한 강력한 기준선을 설정하기 위해, 논문을 구조화된 편집 가능한 다이어그램으로 변환하는 다중 에이전트 협업 시스템인 Paper2SysArch를 제안한다. Paper2SysArch는 더 복잡한 사례에 대해 수동으로 선별된 논문의 하위 집합에서 69.0의 종합 점수를 달성했다.
