본 논문은 대규모 언어 모델(LLM)의 강화 학습(RL) 미세 조정 과정에서 모델 파라미터의 대부분이 변경되지 않고, 일부 작은 하위 네트워크(일반적으로 5~30%)만 수정된다는 놀라운 발견을 제시합니다. 연구진은 이 현상을 RL-유도 파라미터 업데이트 희소성이라고 명명하며, 다양한 RL 알고리즘(PPO, DPO, SimPO, PRIME 등)과 모델(OpenAI, Meta, 오픈소스 LLM 등)에서 일관되게 나타남을 확인했습니다. 더 나아가, RL에 의해 업데이트되는 하위 네트워크는 서로 다른 시드, 데이터셋, 알고리즘에서 상당한 중복을 보이며, 이는 사전 훈련된 모델 내에 부분적으로 전이 가능한 구조가 존재함을 시사합니다. 이 희소한 하위 네트워크만 미세 조정해도 전체 모델 성능을 회복하고, 완전히 미세 조정된 모델과 거의 동일한 파라미터를 얻을 수 있음을 보였습니다. 이러한 희소성은 RL이 모델의 원래 분포 근처에서 작동하여, 목표 지향적인 변화만 필요하기 때문에 발생한다는 분석 결과를 제시합니다. KL 페널티, 그래디언트 클리핑, 온 폴리시 역학은 희소성 패턴에 제한적인 영향만 미칩니다. 본 연구는 RL이 모든 가중치를 이동시키는 것이 아니라 일관되게 업데이트되는 작은 하위 네트워크에 집중하여 모델을 적응시킨다는 새로운 관점을 제시하며, 더 효율적인 RL 방법을 가능하게 하고 로터리 티켓 가설의 관점에서 희소성을 재해석합니다.
