본 논문은 다중 모달 대규모 언어 모델(MLLM)에서 음성 및 음악 토큰화의 중요성을 강조하며, 기존 연구의 한계점을 지적합니다. 기존 연구는 의미 토큰과 음향 토큰의 정의가 부적절하고, 코덱 평가가 특정 도메인이나 작업(예: 재구성 또는 자동 음성 인식)에 치우쳐 공정하고 포괄적인 비교가 어렵다는 점을 문제 삼습니다. 따라서 본 논문은 의미 토큰과 음향 토큰에 대한 적절한 정의를 제시하고, 음향 재구성 지표, 코드북 인덱스 안정성, 디코더 전용 트랜스포머 퍼플렉서티, 하위 작업 성능 등 4가지 차원에서 코덱의 성능을 평가하는 체계적인 평가 프레임워크를 제안합니다. 실험 결과는 제시된 정의의 타당성과 재구성 지표, 코드북 ID 안정성, 하위 작업 성능, 퍼플렉서티 간의 상관관계를 보여줍니다.
