본 논문은 물리적으로 일관된 이미지 편집을 달성하기 위한 새로운 방법인 Materialist를 제안합니다. 기존의 신경망 기반 이미지 편집 방법들이 그림자와 굴절을 정확하게 처리하는 데 어려움을 겪는다는 점을 지적하며, 물리 기반 역 렌더링은 다중 뷰 최적화를 필요로 하여 단일 이미지 시나리오에서는 실용성이 떨어진다는 문제점을 해결하고자 합니다. Materialist는 학습 기반 접근 방식과 물리 기반의 진보적인 미분 가능 렌더링을 결합하여, 신경망을 이용하여 초기 물질 특성을 예측하고, 진보적인 미분 가능 렌더링을 사용하여 환경 맵을 최적화하고 물질 특성을 개선하여 렌더링 결과와 입력 이미지를 일치시키는 것을 목표로 합니다. 이 방법은 재질 편집, 객체 삽입, 재조명과 같은 다양한 응용 프로그램을 가능하게 하며, 전체 장면 기하학 없이도 재질 투명도를 편집하는 효과적인 방법을 제시합니다. 또한, 최첨단 성능을 달성하는 환경 맵 추정 방법을 통해 이미지 편집 작업의 정확도를 더욱 향상시킵니다. 합성 및 실제 데이터 세트에 대한 실험을 통해 합성 및 실제 세계 데이터 세트에서 강력한 성능을 보여주며, 도메인 외부 이미지에서도 뛰어난 성능을 보입니다.
