본 논문은 비전-언어 모델(VLMs)의 높은 계산 비용과 추론 지연 시간 문제를 해결하기 위해, 주파수 영역에서 시각적 표현을 압축하는 새로운 방법인 Fourier-VLM을 제안합니다. 기존 VLMs는 이미지 인코더에서 추출된 시각적 특징으로 이미지 자리 표시자 토큰을 대체하지만, 많은 시각 토큰으로 인해 컨텍스트 길이가 증가하여 계산 비용이 높아지는 문제가 있습니다. Fourier-VLM은 시각적 특징이 저주파 성분에 에너지가 집중되어 있다는 점에 착안하여, 2차원 이산 코사인 변환(DCT)을 이용한 저역 통과 필터를 적용하여 시각적 표현을 압축합니다. DCT는 빠른 푸리에 변환(FFT)을 통해 효율적으로 계산되며, 추가적인 매개변수 없이 계산 비용을 최소화합니다. 다양한 이미지 기반 벤치마크에서 실험을 통해 LLaVA와 Qwen-VL 아키텍처 모두에서 경쟁력 있는 성능과 일반화 성능을 달성함을 보여줍니다. LLaVA-v1.5와 비교하여 추론 FLOPs를 최대 83.8% 감소시키고 생성 속도를 31.2% 향상시켰습니다.
