Tiny Brains, Giant Impact: Uncovering the Keystone Neurons of LLM with Just a Few Prompts

작성자

Haebom

카테고리

Empty

저자

Xiangtian Ji, Yuxin Chen, Zhengzhou Cai, Xiang Wang, An Zhang, Tat-Seng Chua

💡 개요

본 연구는 대규모 언어 모델(LLM)의 내부 작동 방식을 이해하기 위해, 다양한 작업에서 일관되게 높은 활성도를 보이는 소수의 뉴런, 즉 '핵심 뉴런(keystone neurons)'을 발견했습니다. 이러한 핵심 뉴런을 제거하면 모델의 성능이 급격히 저하되는 것을 확인했으며, 이들은 사전 학습 단계에서부터 모델의 능력에 결정적인 역할을 하는 것으로 나타났습니다. 본 논문은 핵심 뉴런만을 대상으로 하는 효율적인 지도 학습 미세 조정(supervised fine-tuning) 기법을 제안하며, 이는 전체 모델을 미세 조정하는 것과 유사하거나 더 나은 성능을 보이면서도 다른 능력 영역에서의 성능 저하를 최소화합니다.

🔑 시사점 및 한계

•

LLM의 복잡한 능력을 설명하는 데 있어 소수의 핵심 뉴런이 중추적인 역할을 한다는 점을 밝혔습니다.

•

핵심 뉴런만을 선택적으로 학습시키는 것이 모델 성능 향상과 효율성 증대에 효과적임을 입증했습니다.

•

본 연구는 주로 Transformer 기반의 개방형 가중치 모델을 대상으로 하였으며, 다른 아키텍처나 특정 과제에 대한 일반화 가능성 검증이 필요합니다.

PDF 보기

Made with Slashpage