SemHiTok은 다중 모달 이해 및 생성 작업을 위한 일관된 이산 특징 표현을 제공하는 의미론적 안내 계층적 코드북을 통한 통합 이미지 토크나이저입니다. 기존의 통합된 다중 모달 대규모 모델(MLLM)들은 의미 특징 재구성과 픽셀 재구성을 위한 손실 함수를 결합하여 통합 이미지 토크나이저를 학습하려고 시도했습니다. 하지만 다중 모달 이해 및 생성 작업에서 우선시되는 특징 수준의 차이로 인해, 공동 학습 방법은 최적의 절충점을 달성하는 데 어려움을 겪었습니다. SemHiTok은 사전 학습된 의미 코드북에 텍스처 하위 코드북을 구축하는 의미론적 안내 계층적 코드북을 통해 이러한 문제를 해결합니다. 이 설계는 의미 재구성과 픽셀 재구성의 학습을 분리하고, 고수준 의미 특징 추출 능력의 저하 없이 토크나이저에 저수준 텍스처 특징 추출 기능을 제공합니다. 실험 결과, SemHiTok은 다른 통합 토크나이저에 비해 256x256 해상도에서 최첨단 rFID 점수를 달성했으며, 다중 모달 이해 및 생성 작업에서 경쟁력 있는 성능을 보였습니다.
