본 논문은 계산 비용이 높은 다중 모달 대규모 언어 모델(LLM)의 효율성을 높이기 위한 훈련이 필요 없는 적응형 추론 방법(AIM)을 제안한다. AIM은 임베딩 유사도 기반의 반복적인 토큰 병합과 다중 모달 중요도 기반의 점진적인 토큰 가지치기라는 두 가지 주요 구성 요소로 이루어져 있다. 비디오 및 이미지 LLM 모두에 적용 가능하며, 다양한 벤치마크 실험을 통해 계산 부하를 최대 7배까지 줄이면서 성능 저하를 최소화함을 보여준다. 특히, 유사한 계산 비용에서 기존 최첨단 방법보다 장시간 비디오 이해 성능이 향상됨을 확인하였다. 토큰 중복성 및 LLM 계층 동작에 대한 심층 분석을 통해 효율적인 다중 모달 LLM 설계에 대한 통찰력을 제공한다.
