SemHiTok은 다중 모달 이해 및 생성 작업을 위한 일관된 이산 특징 표현을 제공하는 의미론적 안내 계층적 코드북을 통한 통합 이미지 토크나이저입니다. 기존의 통합 다중 모달 대규모 모델(MLLM)들은 의미 특징 재구성과 픽셀 재구성을 위한 손실 함수를 결합하여 통합 이미지 토크나이저를 학습하려고 시도했지만, 다중 모달 이해 및 생성 작업에서 우선시되는 특징 수준의 차이로 인해 최적의 균형을 맞추는 데 어려움을 겪었습니다. SemHiTok은 사전 학습된 의미론적 코드북에 텍스처 하위 코드북을 구축하는 의미론적 안내 계층적 코드북을 통해 이러한 문제를 해결합니다. 이 설계는 의미론적 재구성과 픽셀 재구성의 학습을 분리하고, 고수준 의미론적 특징 추출 능력 저하 없이 저수준 텍스처 특징 추출 기능을 토크나이저에 제공합니다. 실험 결과, SemHiTok은 다른 통합 토크나이저에 비해 256x256 해상도에서 우수한 rFID 점수를 달성했으며, 다중 모달 이해 및 생성 작업에서 경쟁력 있는 성능을 보였습니다.
