본 논문은 이미지 생성을 위한 확률적 생성 모델에서 전역 데이터 분포 학습만으로도 샘플링을 통해 새로운 이미지를 생성할 수 있다는 일반적인 가정에 대한 한계를 조사합니다. 전역 분포 학습이 생성적 행동보다는 기억(memorization)으로 이어진다는 점에 초점을 맞춰, 두 가지 이론적 틀인 상호 배타적 확률 공간(MEPS)과 국소 의존 가설(LDH)을 제안합니다. MEPS는 확률 변수를 포함하는 결정론적 매핑(예: 신경망)이 관련 확률 변수 간의 중복 계수를 감소시켜 배타성을 유도한다는 관찰에서 비롯됩니다. 중복 계수 측면에서 하한을 제시하고, 이미지를 부호화된 이진 잠재 표현으로 인코딩하는 이진 잠재 오토인코더(BL-AE)를 소개합니다. LDH는 유한 관측 반경 내의 의존성을 공식화하며, 이는 가변 관측 범위 γ를 갖는 자기 회귀 모델인 γ-자기 회귀 확률 변수 모델(γ-ARVM)을 제시하는 동기가 됩니다. γ-ARVM은 다음 토큰에 대한 히스토그램을 예측하는 자기 회귀 모델이며, 관측 범위가 증가함에 따라 자기 회귀 모델이 점진적으로 기억(memorization)으로 이동하는 것을 관찰합니다. 전역 의존성의 한계에서, 이 모델은 BL-AE에 의해 생성된 이진 잠재 변수를 사용할 때 순수한 기억 장치로 동작합니다. 광범위한 실험 및 논의를 통해 연구 결과를 뒷받침합니다.
