Sign In

Sparse Model Inversion: Efficient Inversion of Vision Transformers for Data-Free Applications

Created by
  • Haebom
Category
Empty

저자

Zixuan Hu, Yongxian Wei, Li Shen, Zhenyi Wang, Lei Li, Chun Yuan, Dacheng Tao

개요

사전 훈련된 판별 모델에서 원본 훈련 데이터를 재구성하는 것을 목표로 하는 모델 역전은 개인 정보 보호, 사용 권한 또는 크기 제약으로 인해 원본 훈련 데이터를 사용할 수 없을 때 특히 유용합니다. 그러나 기존의 밀집 역전 방법은 전체 이미지 영역을 재구성하려 시도하므로 대규모 비전 변환기(ViTs)에서 고해상도 이미지를 역전할 때 매우 비효율적입니다. 본 논문에서는 이 비효율성의 두 가지 근본 원인인 잡음 배경의 불필요한 역전과 "환각" 현상으로 명명한 허위 상관 관계의 의도하지 않은 역전을 확인합니다. 이러한 제한 사항을 해결하기 위해, 원래 손실 함수를 수정할 필요 없이 기존 밀집 역전 방법을 가속화하기 위한 플러그 앤 플레이 확장으로, 새로운 희소 모델 역전 전략을 제안합니다. 구체적으로, 잡음 배경 및 잠재적 허위 상관 관계의 역전을 중단하면서 의미론적 전경을 선택적으로 역전합니다. 이론적 및 경험적 연구를 통해, 데이터 없는 모델 양자화 및 데이터 없는 지식 전송에서 상당한 역전 가속(최대 3.79배 빠름)을 달성하면서 유사하거나 향상된 다운스트림 성능을 유지하는 접근 방식의 효과를 검증합니다.

시사점, 한계점

시사점:
대규모 비전 변환기(ViTs)에서 고해상도 이미지 역전의 효율성을 개선하기 위한 새로운 희소 모델 역전 전략 제안
잡음 배경 및 허위 상관 관계의 역전을 방지하여 역전 속도 향상
데이터 없는 모델 양자화 및 지식 전송에서 성능 유지 또는 향상
기존 밀집 역전 방법에 플러그 앤 플레이 방식으로 적용 가능
한계점:
논문에서 구체적인 한계점에 대한 언급은 없음
👍