본 논문은 대규모 언어 모델(LLM)의 상호 정렬을 위한 감독 학습 미세 조정 과정에서 모델의 특정 계층이 어떻게 영향을 받는지 조사합니다. 모델의 모든 계층이 동일하게 영향을 받는 것이 아니라, 일부 계층만이 상호 정렬 과정에 중요하게 작용한다는 가설을 바탕으로, 각 계층의 매개변수 변화에 대한 이진 마스크를 학습하는 ILA (Importance of Layers in Alignment) 방법을 제안합니다. 실험 결과, 서로 다른 상호 정렬 데이터셋을 사용하더라도 ILA에 의해 식별된 중요 계층의 중복률이 약 90%에 달하며, 이는 LLM 상호 정렬의 기본적인 패턴을 보여줍니다. 또한, 비 중요 계층을 고정하고 중요 계층만 선택적으로 미세 조정하는 것이 성능 저하 없이 미세 조정 효율을 크게 향상시킨다는 것을 발견했습니다. 마지막으로, 이러한 연구 결과가 LLM 상호 정렬에서 추론으로 확장될 수 있는 가능성을 논의합니다.
