본 논문은 사전 훈련된 대규모 언어 모델(LLM)을 더 유용하고 정렬된 사후 훈련 모델로 변환하는 데 필수적인 사후 훈련 과정이 LLM의 내부를 어떻게 재구성하는지에 대한 기계적인 분석을 제공합니다. 모델 계열과 데이터 세트에 걸쳐 네 가지 관점(사실적 지식 저장 위치, 지식 표현, 진실성 및 거부 표현, 신뢰도)에서 기본 모델과 사후 훈련된 모델을 비교 분석하여 다음과 같은 결과를 도출했습니다. 첫째, 사후 훈련은 사실적 지식 저장 위치를 변경하지 않고 기본 모델의 지식 표현을 적응시키면서 새로운 지식 표현을 개발합니다. 둘째, 진실성과 거부는 숨겨진 표현 공간의 벡터로 표현될 수 있으며, 진실성 방향은 기본 모델과 사후 훈련된 모델 간에 매우 유사하고 개입에 효과적으로 전달됩니다. 셋째, 거부 방향은 기본 모델과 사후 훈련된 모델 간에 다르며, 제한적인 전달성을 보입니다. 넷째, 기본 모델과 사후 훈련된 모델 간의 신뢰도 차이는 엔트로피 뉴런에 기인할 수 없습니다. 이 연구는 사후 훈련 중에 유지되고 변경되는 기본 메커니즘에 대한 통찰력을 제공하고, 모델 조정과 같은 후속 작업을 용이하게 하며, 해석성 및 LLM 사후 훈련에 대한 미래 연구에 잠재적으로 도움이 될 수 있습니다.
