기존 벡터 양자화(VQ) 방법들은 훈련 중 부분 업데이트를 거치는 코드북의 불안정성으로 인해 확장성에 어려움을 겪습니다. 활성화되지 않은 코드와 시각적 특징 간의 분포 차이가 점점 커짐에 따라 활용도가 감소하면 코드북이 붕괴될 위험이 있습니다. 본 논문에서는 모든 코드북 임베딩과 시각적 인코더의 결합 최적화를 위한 새로운 VQ 방법인 인덱스 역전파 양자화(IBQ)를 제안합니다. 인코딩된 특징과 코드북 간의 원-핫 범주형 분포에 직통 추정기를 적용하여 모든 코드가 미분 가능하게 되고 시각적 인코더와 일관된 잠재 공간을 유지합니다. IBQ는 시각 토크나이저의 확장 가능한 훈련을 가능하게 하며, 처음으로 고차원(256)의 대규모 코드북(2¹⁸)을 높은 활용도로 달성합니다. 표준 ImageNet 벤치마크에 대한 실험은 재구성 및 자기회귀 시각 생성 응용 분야에서 IBQ의 확장성과 우수성을 보여주며 경쟁력 있는 결과를 달성합니다. 코드와 모델은 https://github.com/TencentARC/SEED-Voken 에서 이용 가능합니다.
