AdaTok: Adaptive Token Compression with Object-Aware Representations for Efficient Multimodal LLMs
Created by
Haebom
Category
Empty
저자
Xinliang Zhang, Lei Zhu, Hangzhou He, Shuang Zeng, Ourui Fu, Jiakui Hu, Zhengjian Yao, Yanye Lu
개요
본 논문은 이미지-텍스트 이해 및 추론을 위한 Multimodal Large Language Models (MLLMs)의 문제점을 해결하기 위해, 패치 단위 토큰화로 인한 계산 및 메모리 부담과 인간 시각 인지 시스템과의 불일치를 개선하는 object-level 토큰 병합 전략을 제안한다. 이를 통해 토큰 수를 줄이면서도 기존 모델의 성능을 유지하는 것을 목표로 한다. 실험 결과는 제안하는 방법이 토큰 사용량을 10% 수준으로 줄이면서도 기존 모델 성능의 96%를 달성함을 보여준다.
시사점, 한계점
•
시사점:
◦
MLLMs의 효율성을 개선하기 위한 새로운 토큰화 전략 제시 (object-level 토큰 병합).
◦
계산 및 메모리 사용량 감소를 통해 MLLMs의 성능 향상 가능성 제시.
◦
인간 시각 시스템과의 정합성을 높여 추론 정확도 향상 기대.
◦
압축률과 성능 간의 균형을 유지하는 우수한 성능 입증.
•
한계점:
◦
구체적인 object-level 토큰 병합 전략의 세부 사항 및 구현 방식에 대한 설명 부족.
