본 논문은 사전 훈련된 대규모 언어 모델(LLM)의 다양한 계층의 훈련 품질이 특정 하위 작업에 따라 상당한 차이를 보이며, 이로 인해 하위 작업 성능이 제한된다는 문제를 다룹니다. 기존 방법들이 모델 중심의 휴리스틱에 의존하는 한계를 극복하기 위해, 본 논문에서는 영향 함수(Influence Functions)를 활용하여 개별 계층의 훈련 품질을 원칙적이고 작업에 민감한 방식으로 정량화하는 데이터 기반 프레임워크인 LayerIF를 제안합니다. 각 계층의 기울기를 분리하고 계층별 영향을 계산하여 검증 손실에 대한 훈련 예제의 민감도를 측정함으로써 데이터 기반의 계층 중요도 추정치를 도출합니다. LayerIF는 동일한 LLM에 대해 작업별 계층 중요도 추정치를 생성하여 계층이 다양한 테스트 시간 평가 작업에 대해 어떻게 특화되는지 보여줍니다. 실험을 통해 LoRA-MoE 아키텍처의 전문가 할당 및 LLM 가지치기를 위한 계층별 스파스 분포 등 두 가지 하위 응용 프로그램에 LayerIF 점수를 활용하여 성능 향상을 보였습니다.
