본 논문은 계층적 데이터(생물 분류, 조직도, 법 조항, 지식 그래프 등)를 위한 이산적 다중 토큰 표현 생성에 널리 사용되는 잔차 양자화(RQ)의 한계를 지적하고, 이를 개선하기 위해 쌍곡 잔차 양자화(HRQ)를 제안한다. RQ는 유클리드 기하학에 의존하여 계층적 분기의 모델링에 어려움을 겪는 반면, HRQ는 데이터를 쌍곡 다양체에 자연스럽게 임베딩하고 쌍곡 연산과 거리 측정을 사용하여 잔차 양자화를 수행함으로써 계층적 분기에 대한 유도적 편향을 부여한다. WordNet 상위어 트리와 계층 발견 작업을 통한 실험 결과, HRQ는 RQ보다 계층적 토큰 생성 성능이 우수하며, 특히 계층 모델링 작업에서 최대 20%의 성능 향상을 보였다. 이는 쌍곡 기하학을 이산적 표현 학습에 통합함으로써 잠재적 계층을 포착하는 능력을 크게 향상시킨다는 것을 보여준다.
