Toshiaki Koike-Akino (Perry), Xiangyu Chen (Perry), Jing Liu (Perry), Ye Wang (Perry), Pu (Perry), Wang, Matthew Brand
개요
본 논문은 대규모 언어 모델(LLM) 및 대규모 다중 모달 모델(LMM)과 같은 최신 기반 모델이 막대한 계산 및 메모리 자원을 필요로 하는 문제를 해결하기 위해, LLM/LMM을 축소된 차원의 잠재 구조로 변환하는 새로운 프레임워크를 제안합니다. 이 방법은 지역 활성화 인식 텐서 분해를 전역 어텐션 인식 조인트 텐서 분해로 확장하여 잠재 차원을 줄일 때 기존 모델 압축 방법보다 모델 정확도를 크게 향상시킵니다. 다중 모달 추론 작업을 포함한 여러 벤치마크에서 이점을 보여줍니다.
