본 논문은 사전 훈련된 거대 언어 모델(LLM)의 각 계층별 훈련 품질을 평가하는 새로운 프레임워크인 LayerIF를 제안합니다. 기존의 모델 중심적 방법론과 달리, LayerIF는 영향 함수(Influence Functions)를 활용하여 각 계층의 기울기를 격리하고 검증 손실에 대한 훈련 데이터의 민감도를 측정함으로써 데이터 중심적인 방식으로 계층의 중요도를 정량화합니다. 이를 통해 동일한 LLM에서도 서로 다른 평가 과제에 따라 계층의 특화 정도를 보여주는 과제별 계층 중요도 추정치를 생성합니다. LayerIF의 유용성을 검증하기 위해 LoRA-MoE 구조에서의 전문가 할당 및 LLM 가지치기에서의 계층별 희소성 분포 두 가지 하류 애플리케이션에 적용하여 실험을 진행하였으며, 다양한 LLM 구조에서 일관된 성능 향상을 보였습니다.
