본 연구는 다중 모달 대규모 언어 모델(MLLM)의 인간 인지 과정과의 차이점을 해결하기 위해 인간의 교차 모달 청킹 메커니즘과 MLLM의 토큰 표현 방법 간의 유사성을 체계적으로 조사합니다. 시각-언어 과제에서 인간의 성능 패턴과 모델의 행동을 비교 분석하여 기존의 정적 토큰화 방식이 인간의 역동적이고 맥락에 민감한 정보 처리 방식을 모방하는 모델의 능력을 제한한다는 것을 보여줍니다. 이에 따라 인지 과학 원리를 기반으로 적응적 경계, 계층적 표현, 정렬 메커니즘을 통합하는 동적 교차 모달 토큰화를 위한 새로운 프레임워크를 제안합니다. 제안된 방법은 벤치마크 과제에서 최첨단 모델보다 통계적으로 유의미한 성능 향상을 보이며 (+7.8% on Visual Question Answering, +5.3% on Complex Scene Description), 더 인간과 유사한 오류 패턴과 주의 분포를 나타냅니다.
