본 논문은 구조화된 주성분 분석(PCA)을 이용하여 신경망 모델의 크기를 극적으로 줄이는 방법을 제시합니다. 극좌표 변환된 이미지나 토큰 시퀀스에 대한 세그먼트별 PCA 적용을 통해 모델 성능 저하 없이 압축을 달성합니다. 세 가지 사례 연구(PCA 압축된 극좌표 MNIST를 사용한 1층 분류기, PCA 축소된 MiniLM 임베딩을 사용한 2층 트랜스포머, PCA 임베딩으로부터 토큰 시퀀스를 생성하는 디코더 전용 트랜스포머)를 통해, 매우 적은 파라미터 수로 높은 정확도를 달성함을 보여줍니다. 이는 PCA 기반 입력 압축이 다양한 모달리티에서 경량 아키텍처를 가능하게 하는 일반적이고 효과적인 전략임을 강조합니다.
