본 논문은 실제 응용에 필요한 물리적 제약, 특히 중력 하에서의 자립성을 고려하여 안정적인 3D 객체를 생성하는 방법을 제시합니다. 기존의 방법들은 테스트 시간에 미분 가능한 물리 시뮬레이터를 사용하여 기하학적 형태를 최적화하는 방식으로 속도가 느리고 불안정하며 지역적 최적값에 빠지기 쉽다는 한계를 가지고 있습니다. 이에 본 논문에서는 생성 모델을 외부 피드백과 정렬하는 기존 연구에서 영감을 얻어, 직접 시뮬레이션 최적화(DSO) 프레임워크를 제안합니다. DSO는 비미분 가능한 시뮬레이터의 피드백을 활용하여 3D 생성기가 직접 안정적인 3D 객체를 출력할 가능성을 높입니다. 물리 시뮬레이터에서 얻은 안정성 점수로 레이블링된 3D 객체 데이터셋을 구축하고, 이를 이용하여 안정성 점수를 정렬 지표로 사용하여 직접 선호도 최적화(DPO) 또는 본 논문에서 새롭게 제안하는 직접 보상 최적화(DRO)를 통해 3D 생성기를 미세 조정합니다. 실험 결과, DPO 또는 DRO 목적 함수를 사용하여 미세 조정된 피드포워드 생성기는 테스트 시간 최적화보다 훨씬 빠르고 안정적인 객체를 생성할 가능성이 높음을 보여줍니다. 특히, DSO 프레임워크는 학습을 위한 기존 3D 객체 없이도 자체 출력에 대한 시뮬레이션 피드백을 자동으로 수집하여 3D 생성기를 자체적으로 개선할 수 있습니다.
