본 논문은 알고리즘 정보 이론(AIT)의 원리에 기반하여 이미지의 복잡도에 따라 가변 길이 토큰화를 수행하는 단일 패스 적응형 토크나이저 KARL을 제안합니다. KARL은 콜모고로프 복잡도(KC)를 근사하여 최소 기술 길이에 도달하면 토큰 생성을 중지하는 방식으로, 역강화 학습 패러다임과 유사한 학습 과정을 거칩니다. 기존의 다중 인코딩 탐색이 필요한 적응형 토크나이저와 달리, KARL은 단일 패스로 동일한 성능을 달성합니다. 또한, 인코더/디코더 크기, 연속/이산 토큰화 등의 요소에 대한 확장 법칙을 분석하고, 적응형 이미지 토큰화와 AIT 간의 개념적 연구를 통해 이미지 복잡도(KC)와 구조/잡음, 분포 내/외 친숙도 간의 관계를 탐구하여 인간의 직관과의 정합성을 보여줍니다.
