Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

작성자

Haebom

카테고리

Empty

저자

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

💡 개요

본 논문은 거대 언어 모델(LLM)에서 레이어 프루닝(Layer Pruning) 후 발생하는 은닉 상태(hidden state)의 분포 불일치 문제를 해결하기 위한 훈련 없는 복구 기법인 Ghosted Layers를 제안합니다. Ghosted Layers는 잘려나간 레이어들이 야기한 활성화(activation) 불일치를 재구성하기 위해, 작은 보정 데이터셋을 활용하여 최적의 선형 연산자를 닫힌 형태로 도출합니다. 실험 결과, 제안 방법은 기존 훈련 없는 기법들보다 일관되게 성능을 향상시키면서도 프루닝의 효율성을 유지합니다.

🔑 시사점 및 한계

•

레이어 프루닝으로 인한 LLM 성능 저하 문제를 훈련 없이 효과적으로 해결하는 새로운 접근 방식을 제시합니다.

•

활성화 분포 불일치 문제를 수학적으로 분석하고 닫힌 형태의 최적 해를 도출하여 이론적 근거를 제공합니다.

•

다양한 LLM과 프루닝 전략에 대해 실험적으로 우수성을 입증하며, 실용적인 적용 가능성을 보여줍니다.

•

제안된 방법이 "unconstrained optimum"에 해당한다는 점은 이론적으로 강력하지만, 실제 적용 시 연산자의 복잡성이나 계산 비용에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage