본 논문은 사후 훈련(post-training)이 대규모 언어 모델(LLM)의 내부 구조를 어떻게 변화시키는지 기계적으로 분석합니다. 다양한 모델과 데이터셋을 사용하여 네 가지 관점(사실적 지식 저장 위치, 진실성 및 거절 표현, 신뢰도 차이)에서 기본 모델과 사후 훈련된 모델을 비교 분석했습니다. 그 결과, 사후 훈련은 사실적 지식 저장 위치를 바꾸지 않고, 기존 지식 표현을 적용하면서 새로운 지식 표현을 개발한다는 것을 밝혔습니다. 또한, 진실성과 거절은 은닉 표현 공간에서 선형 벡터로 표현될 수 있으며, 진실성 방향은 모델 간 유사성이 높고 효과적으로 전달될 수 있지만, 거절 방향은 모델 간 차이가 크고 전달성이 제한적임을 확인했습니다. 마지막으로, 기본 모델과 사후 훈련된 모델 간의 신뢰도 차이는 엔트로피 뉴런으로 설명할 수 없다는 것을 발견했습니다. 이 연구는 사후 훈련 중 유지 및 변경되는 기본 메커니즘에 대한 통찰력을 제공하고, 모델 조정과 같은 후속 작업을 용이하게 하며, 해석성 및 LLM 사후 훈련에 대한 미래 연구에 기여할 수 있습니다.
