Thanos는 대규모 언어 모델(LLM)의 메모리 사용량을 줄이고 계산 효율을 높이기 위해 중복 가중치를 제거하는 새로운 가중치 가지치기 알고리즘입니다. 적응형 마스크를 사용한 블록 단위 가지치기 전략을 통해 가중치 중요도에 따라 동적으로 조정이 가능하며, 하드웨어 가속에 최적화된 $n:m$ sparsity와 같은 유연한 희소성 패턴과 구조화된 형식을 지원합니다. 실험 결과, Thanos는 구조화된 가지치기에서 최첨단 성능을 달성했으며, 비구조화된 가지치기에서도 기존 방법들을 능가하는 것으로 나타났습니다. 효율적이고 적응력 있는 모델 압축 방식을 제공하여, 자원 제약 환경에서 대규모 모델 배포를 위한 실용적인 해결책을 제시합니다.
