Revisiting Large Language Model Pruning using Neuron Semantic Attribution
Created by
- Haebom
Category
Empty
저자
Yizhuo Ding, Xinwei Sun, Yanwei Fu, Guosheng Hu
개요
본 논문은 대규모 언어 모델(LLM)의 크기와 계산 요구량을 줄이기 위한 모델 가지치기 기술의 일반화 가능성을 평가합니다. 24개의 데이터셋과 4가지 작업에 걸쳐 기존 가지치기 방법들을 광범위하게 평가하여, 보정 집합이 가지치기 방법의 성능에 큰 영향을 미친다는 것을 발견했습니다. 또한, 놀랍게도 기존 가지치기 방법들이 감정 분류 작업에서 성능 저하를 보이는 것을 발견하고, 이러한 성능 저하와 가지치기된 뉴런 간의 관계를 이해하기 위해 뉴런 의미 속성(Neuron Semantic Attribution)이라는 새로운 방법을 제안합니다. 이 방법은 LLM의 가지치기되지 않은 뉴런을 설명 가능하게 만듭니다.
시사점, 한계점
•
시사점:
◦
다양한 데이터셋과 작업에 걸쳐 기존 모델 가지치기 방법의 일반화 성능을 체계적으로 평가함.
◦
보정 집합의 중요성을 밝히고, 가지치기 방법의 성능에 미치는 영향을 분석함.
◦
감정 분류 작업에서 기존 가지치기 방법의 성능 저하 문제를 제기하고, 그 원인 규명을 위한 새로운 방법(뉴런 의미 속성)을 제시함.
◦
LLM의 뉴런에 대한 설명 가능성을 향상시키는 새로운 접근법 제시.
•
한계점:
◦
제안된 뉴런 의미 속성 방법의 성능 및 일반화 가능성에 대한 추가적인 실험 및 분석 필요.
◦
감정 분류 작업에서의 성능 저하 원인에 대한 보다 심층적인 분석 필요.
◦
24개의 데이터셋과 4가지 작업이 어떤 종류인지 명시적으로 언급하지 않아 구체적인 내용 파악이 어려움.
◦
논문에서 언급된 "calibration set"의 구체적인 정의와 구성 방법에 대한 설명 부족.
