대규모 언어 모델(LLM)은 자연어 처리(NLP) 작업에서 인상적인 성능을 보여왔습니다. 실제 응용 프로그램에서 긴 컨텍스트 창에 대한 수요가 증가함에 따라, 긴 컨텍스트 데이터에 대한 지속적인 사전 훈련과 지도 기반 미세 조정(SFT)이 일반적인 접근 방식이 되었습니다. 데이터 길이의 영향은 지속적인 사전 훈련에 대해 광범위하게 연구되었지만, SFT에 대한 영향은 불분명했습니다. 본 연구에서는 SFT 데이터 길이가 짧은 컨텍스트 작업에서 LLM 동작에 어떤 영향을 미치는지 체계적으로 조사했습니다. 역설적이게도, 긴 컨텍스트 SFT는 짧은 컨텍스트 성능을 향상시키는 것을 발견했는데, 이는 긴 컨텍스트 사전 훈련에서 일반적으로 관찰되는 성능 저하와는 상반됩니다. 이러한 현상의 근본적인 메커니즘을 밝히기 위해, Multi-Head Attention (MHA)과 Feed-Forward Network (FFN)의 두 가지 주요 구성 요소를 분리하여 분석하고, 두 구성 요소 모두 긴 컨텍스트 SFT로부터 독립적으로 이점을 얻는다는 것을 보여주었습니다. 또한, 상호 작용을 연구하여 지식 선호 편향을 밝혔습니다: 긴 컨텍스트 SFT는 컨텍스트 지식을 촉진하고, 짧은 컨텍스트 SFT는 파라미터 지식을 선호하여, 긴 컨텍스트 SFT에만 의존하는 것은 최적이 아닙니다. 마지막으로, 하이브리드 훈련이 이러한 편향을 완화하여 LLM 미세 조정을 위한 설명 가능한 지침을 제공한다는 것을 입증했습니다.
