SemHiTok은 다중 모달 이해 및 생성 작업을 위한 일관된 이산 특징 표현을 제공하는 의미론적 안내 계층적 코드북을 통한 통합 이미지 토크나이저입니다. 기존의 통합 다중 모달 대규모 모델(MLLM)은 의미 특징 재구성과 픽셀 재구성을 위한 손실 함수를 결합하여 통합 이미지 토크나이저를 훈련하려고 시도했지만, 다중 모달 이해 및 생성 작업에서 우선시되는 특징의 수준이 다르기 때문에 공동 훈련 방법은 좋은 절충점을 달성하는 데 어려움을 겪었습니다. SemHiTok은 사전 훈련된 의미론적 코드북에 텍스처 하위 코드북을 구축하는 의미론적 안내 계층적 코드북을 통해 이러한 문제를 해결합니다. 이 설계는 의미론적 재구성과 픽셀 재구성의 훈련을 분리하고 고수준 의미론적 특징 추출 기능의 저하 없이 토크나이저에 저수준 텍스처 특징 추출 기능을 제공합니다. 실험 결과, SemHiTok은 다른 통합 토크나이저에 비해 256x256 해상도에서 우수한 rFID 점수를 달성하고 다중 모달 이해 및 생성 작업에서 경쟁력 있는 성능을 보여줍니다.
시사점, 한계점
•
시사점: 의미론적 안내 계층적 코드북을 통해 다중 모달 이해 및 생성 작업에 대한 일관된 이산 특징 표현을 제공하는 통합 이미지 토크나이저를 제시합니다. 256x256 해상도에서 우수한 rFID 점수와 다중 모달 작업에서 경쟁력 있는 성능을 달성했습니다. 의미론적 재구성과 픽셀 재구성의 훈련을 분리하여 성능 향상을 이끌어냈습니다.
•
한계점: 논문에서는 구체적인 한계점이 명시적으로 언급되지 않았습니다. 추가적인 실험 및 비교 연구를 통해 다른 방법론과의 더욱 포괄적인 비교 분석, 다양한 데이터셋에 대한 성능 평가, 계산 비용 및 효율성에 대한 분석 등이 필요할 수 있습니다.
