기존의 다중 뷰 입체(MVS) 방법은 주로 광도 및 기하학적 일관성 제약 조건에 의존하는 반면, 최신 학습 기반 알고리즘은 종종 평면 스윕 알고리즘에 의존하여 3D 기하를 추론하고 명시적인 기하학적 일관성(GC) 검사를 후처리 단계에서만 적용하여 학습 과정 자체에는 영향을 미치지 않습니다. 본 연구에서는 학습 단계에서 여러 소스 뷰(다중 뷰) 및 다양한 스케일(다중 스케일)에서 참조 뷰 깊이 맵의 기하학적 일관성을 적극적으로 강화하는 새로운 방법인 GC MVSNet plus plus를 제시합니다(그림 1 참조). 이 통합된 GC 검사는 기하학적으로 일관성 없는 픽셀에 직접 페널티를 부과함으로써 학습 과정을 크게 가속화하여 다른 MVS 방법에 비해 훈련 반복 횟수를 절반으로 줄입니다. 또한, 향상된 규제를 위해 밀집 특징 연결을 활용하도록 최적화된 두 가지 고유한 블록 설계(단순 및 특징 밀집)를 갖춘 밀집 연결 비용 규제 네트워크를 제시합니다. 광범위한 실험을 통해 제시된 방법이 DTU 및 BlendedMVS 데이터 세트에서 최첨단 성능을 달성하고 Tanks and Temples 벤치마크에서 2위를 차지함을 보여줍니다. GC MVSNet plus plus는 학습 중에 다중 뷰, 다중 스케일의 감독 기하학적 일관성을 강화하는 최초의 방법입니다. 코드는 공개되어 있습니다.
