본 논문은 제한된 수단으로 다양한 변형을 생성하는 능력인 구성(composition)이 강력한 일반화의 기반이 된다는 가정 하에, 심층 학습에서 구성적 일반화가 여전히 주요 과제임을 다룹니다. 분리된(factorized) 표현을 학습하는 것이 이러한 외삽을 자연스럽게 지원한다는 널리 받아들여지는 가정에도 불구하고, 기존 생성 모델들은 분포 외(OOD) 샘플을 생성하기 위해 요소를 인식하고 구성하는 데 실패하는 등 경험적 결과는 혼재되어 있습니다. 2차원 가우시안 "범프" 생성 작업을 통해 완전히 분리된 (x,y) 입력으로 실험하여, 표준 생성 아키텍처가 부분적인 데이터로 학습할 때 후속 레이어에서 잠재 표현을 다시 얽힘으로써 OOD 영역에서 실패함을 보여줍니다. 모델의 학습된 커널과 매니폴드 기하학을 조사하여 이러한 실패가 실제 분리된 특징의 구성이 아닌 데이터 중첩을 통한 생성에 대한 "암기" 전략을 반영함을 보여줍니다. 아키텍처 수정, 규제 또는 큐레이션된 학습 데이터를 통해 분리된 잠재 변수를 전체 차원의 표현(픽셀) 공간으로 렌더링하도록 모델을 강제할 때, OOD 영역에서 구성하는 데 매우 데이터 효율적이고 효과적일 수 있음을 보여줍니다. 이러한 결과는 추상적 표현에서 분리된 잠재 변수가 불충분하며, 모델이 출력 표현 공간에서 직접 분리된 요소를 표현할 수 있다면 강력한 구성적 일반화를 달성할 수 있음을 강조합니다.
