SLORR: Simple and Efficient In-Training Low-Rank Regularization

작성자

Haebom

카테고리

Empty

저자

David Gonzalez-Martinez, Shiwei Liu

💡 개요

본 논문은 현대 신경망 모델의 압축 시 발생하는 성능 저하 문제를 해결하기 위해, 기존 방법의 복잡성과 비효율성을 개선한 새로운 저랭크 정규화 기법인 SLORR을 제안합니다. SLORR은 모델 구조를 변경하거나 상태를 유지하는 추가 계산 없이, GPU 친화적인 근사 방식을 통해 원래의 가중치 행렬에 직접 저랭크 정규화를 적용합니다. 이를 통해 기존 모델 대비 훨씬 적은 오버헤드로 신경망의 압축성을 효과적으로 향상시키고 성능 손실을 최소화합니다.

🔑 시사점 및 한계

•

SLORR은 모델 구조 변경 및 상태 유지 없이 저랭크 정규화를 수행하여 기존 방법론의 복잡성과 계산 오버헤드를 크게 줄입니다.

•

제안된 GPU 친화적인 근사 방식은 이미지 분류 및 대규모 언어 모델 사전 학습에서도 높은 압축성과 우수한 성능 유지율을 보여, 다양한 모델과 태스크에 적용 가능함을 입증합니다.

•

본 연구는 SLORR의 효과를 주로 이미지 분류 및 LLM 사전 학습 태스크에 집중하여 검증했으며, 더 넓은 범위의 모델 아키텍처 및 태스크에 대한 추가적인 탐색과 이론적 분석이 필요합니다.

PDF 보기

Made with Slashpage