Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Data-Free Group-Wise Fully Quantized Winograd Convolution via Learnable Scales

Created by
  • Haebom

저자

Shuokai Pan, Gerti Tuzi, Sudarshan Sreeram, Dibakar Gope

개요

본 논문은 대규모 텍스트-이미지 확산 모델의 높은 계산 및 저장 비용 문제를 해결하기 위해, Winograd convolution과 함께 미세한 그룹 단위 양자화를 활용하는 방법을 제안합니다. 기존의 완전 양자화된 Winograd convolution은 품질 저하 문제가 있었으나, 본 논문에서 제안하는 방법은 Winograd 변환 행렬의 스케일 파라미터만 미세 조정하여 이 문제를 해결합니다. 이는 별도의 도메인 특화 학습 데이터 없이도 가능하며, 8비트 완전 양자화된 확산 모델에서도 full-precision 모델과 유사한 품질(FID 및 CLIP 점수)을 유지하며, 이미지 분류 작업에서도 기존 최첨단 방법보다 성능이 향상됨을 보여줍니다.

시사점, 한계점

•
시사점:
◦
대규모 확산 모델의 계산 비용 및 메모리 사용량을 효과적으로 줄이는 새로운 양자화 방법 제시.
◦
Winograd convolution과의 결합을 통해 추론 속도 향상.
◦
별도의 학습 데이터 없이도 높은 정확도와 품질을 유지.
◦
텍스트-이미지 생성 및 이미지 분류 작업에서 기존 방법 대비 성능 향상.
•
한계점:
◦
제안된 방법의 효과는 특정 양자화 비트 수(8비트)와 Winograd convolution에 의존적일 수 있음.
◦
다른 종류의 컨볼루션 연산이나 다른 아키텍처의 확산 모델에 대한 일반화 성능은 추가적인 연구가 필요함.
◦
Winograd 변환 행렬의 스케일 파라미터만 미세 조정하는 방식의 한계로 인해, 더욱 복잡한 모델이나 작업에서는 성능 향상이 제한될 가능성이 있음.
👍
Made with Slashpage