The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?

Wed, 26 Feb 2025 05:12:50 GMT

### 저자

Zhenheng Tang, Xiang Liu, Qian Wang, Peijie Dong, Bingsheng He, Xiaowen Chu, Bo Li

### 개요

본 논문은 대규모 언어 모델(LLM)의 계산 및 저장 비용을 줄이기 위한 모델 압축 및 KV 캐시 압축에 대한 최근 연구 동향을 검토하고, 검색 증강 생성, 다단계 추론, 외부 도구 활용, 계산적 표현력 향상 등 LLM 성능 향상에 기여하는 요소들을 분석합니다. 그리고 주어진 LLM과 특정 과제에 대해, 다단계 추론 및 외부 도구의 지원을 받아 원래 LLM과 동일한 성능을 낼 수 있는 더 작은 "로터리 LLM"이 존재한다는 가설(Lottery LLM hypothesis)을 제시합니다. 마지막으로, 기존 압축 방법에서 간과되고 있는 로터리 LLM과 KV 캐시 압축이 갖춰야 할 필수 기능들을 논의하고 요약합니다.

### 시사점, 한계점

- **시사점:**

- LLM의 계산 및 저장 비용 절감을 위한 새로운 연구 방향 제시 (로터리 LLM 가설)

- 다단계 추론 및 외부 도구 활용을 통한 LLM 성능 향상 가능성 제시

- 기존 LLM 압축 방법의 한계점을 지적하고 개선 방향 제시

- 로터리 LLM 및 KV 캐시 압축에 필요한 필수 기능들을 제시

- **한계점:**

- 로터리 LLM 가설은 아직 가설 단계이며 실험적 검증이 필요함

- 로터리 LLM 및 KV 캐시 압축에 필요한 필수 기능들이 구체적으로 어떻게 구현될 수 있는지에 대한 자세한 설명 부족

- 기존 연구에 대한 검토가 상대적으로 간략하게 이루어짐

[PDF 보기](https://arxiv.org/pdf/2502.17535)