AdaTok: Adaptive Token Compression with Object-Aware Representations for Efficient Multimodal LLMs
Created by
Haebom
Category
Empty
저자
Xinliang Zhang, Lei Zhu, Hangzhou He, Shuang Zeng, Ourui Fu, Jiakui Hu, Zhengjian Yao, Yanye Lu
개요
본 논문은 이미지-텍스트 이해 및 추론에 사용되는 멀티모달 대규모 언어 모델(MLLM)의 성능 향상을 위해, 이미지 토큰 압축을 위한 객체 수준 토큰 병합 전략을 제안한다. 기존의 패치 수준 토큰화 방식의 계산 및 메모리 부담, 그리고 인간 시각 인지 시스템과의 불일치를 해결하고자 한다. 제안된 방법은 기존 모델 대비 약 10%의 토큰 사용량으로 96%에 가까운 성능을 달성했으며, 다양한 벤치마크에서 우수성을 입증했다.
시사점, 한계점
•
시사점:
◦
객체 수준 토큰 병합 전략을 통해 MLLM의 효율성을 향상시킴.
◦
압축률과 성능 사이의 균형을 효과적으로 달성.
◦
인간 시각 인지 시스템과의 일치성을 높여 환각 현상 감소.
◦
코드 공개를 통해 재현 가능성 및 연구 발전에 기여.
•
한계점:
◦
논문에서 구체적인 한계점 언급은 없음. (단, 객체 탐지 및 병합 전략의 정확성, 일반화 능력 등 추가적인 평가 필요)
