본 논문은 희소 2D 뷰에서 복잡한 3D 장면을 효과적으로 모델링하는 최신 재구축 기술에도 불구하고, 정답 이미지 부족과 참조 없는 이미지 지표의 한계로 인해 새로운 뷰의 품질을 자동으로 평가하고 인공물을 식별하는 것이 어렵다는 문제를 제기합니다. 이러한 문제를 해결하기 위해, 다른 관점의 캡처에서 정보를 활용하는 새로운 종류의 지표(cross-reference)를 제안하는 최근 연구(arXiv:2404.14409)를 바탕으로, 새로운 뷰에서 인공물을 국지화하는 새로운 cross-reference 지표인 Puzzle Similarity를 제안합니다. 본 방법은 훈련 뷰의 이미지 패치 통계를 이용하여 장면 특정 분포를 설정하고, 이를 이용하여 새로운 뷰에서 잘못 재구성된 영역을 식별합니다. 3D 재구축 맥락에서 cross-reference 방법을 평가하기 위한 좋은 지표가 부족하여, 새로운 인간이 라벨링한 인공물 및 왜곡 맵 데이터셋을 수집하여 제안된 방법의 성능을 평가하였고, 정렬된 참조 없이도 인간의 평가와 상관관계가 높은 최첨단 인공물 국지화 성능을 보임을 실험적으로 보였습니다. 이 지표는 자동 이미지 복원, 안내 획득 또는 희소 입력으로부터의 3D 재구축과 같은 응용 프로그램을 향상시키는 데 활용될 수 있습니다.
