Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

OuroMamba: A Data-Free Quantization Framework for Vision Mamba

Created by
  • Haebom
Category
Empty

저자

Akshat Ramachandran, Mingyu Lee, Huan Xu, Souvik Kundu, Tushar Krishna

OuroMamba: Data-Free Post-Training Quantization for Vision Mamba Models

개요

본 논문은 비전 Mamba 기반 모델(VMM)을 위한 최초의 데이터 프리 후처리 양자화(DFQ) 방법인 OuroMamba를 제시합니다. OuroMamba는 VMM의 재귀적 상태 전이로 인한 장거리 상호작용 포착의 어려움과 동적 이상치 변동 문제에 대응하기 위해, 의미 있는 합성 데이터를 생성하는 OuroMamba-Gen과 혼합 정밀도 양자화를 사용하는 OuroMamba-Quant의 2단계 프레임워크를 제안합니다. OuroMamba는 패치 레벨의 VMM 특징에 대비 학습을 적용하고, 매 타임스텝마다 갱신되는 활성화 채널 선택 전략을 사용하여 기존 데이터 기반 PTQ 기술보다 우수한 성능을 달성합니다.

시사점, 한계점

데이터 없이 VMM의 양자화를 수행하는 최초의 방법론 제시.
VMM의 특징을 고려한 새로운 합성 데이터 생성 및 양자화 기법 개발.
다양한 양자화 설정에서 기존 PTQ 기술보다 우수한 성능 달성.
실용적인 지연 시간 단축 (최대 2.36x 속도 향상).
VMM의 재귀적 특성으로 인한 장거리 상호 작용 제한 해결 시도.
동적 이상치 변동 문제 해결을 위한 활성화 채널 선택 전략 제안.
깃허브를 통해 코드 및 합성 데이터셋 제공.
👍