대규모 언어 모델을 좁은 데이터셋으로 미세 조정하면 광범위하게 잘못 정렬된 동작이 발생하는데, 이를 출현적 불일치(emergent misalignment)라고 합니다. 하지만 이러한 불일치의 근본 메커니즘과 훈련 영역을 넘어 일반화되는 이유는 잘 알려져 있지 않아 모델 정렬에 대한 지식의 중요한 격차를 보여줍니다. 본 연구에서는 단 9개의 rank-1 어댑터를 사용하여 Qwen2.5-14B-Instruct를 출현적으로 잘못 정렬시키는 최소 모델 유기체를 훈련하고 연구합니다. 이를 통해 다양한 출현적으로 잘못 정렬된 모델이 유사한 불일치 표현으로 수렴함을 발견했습니다. 미세 조정된 모델 하나의 활성화에서 '불일치 방향'을 추출하고, 이를 사용하여 고차원 LoRA와 다른 데이터셋을 사용한 미세 조정에서 잘못 정렬된 동작을 효과적으로 제거함으로써 이러한 수렴을 보여줍니다. rank-1 LoRA의 스칼라 은닉 상태를 활용하여 미세 조정 어댑터를 직접 해석하기 위한 일련의 실험을 추가로 제시하여 6개는 일반적인 불일치에 기여하고 2개는 미세 조정 영역에서만 불일치를 전문적으로 처리함을 보여줍니다. 출현적 불일치는 특히 바람직하지 않고 예상치 못한 모델 동작의 대표적인 예이며, 그 메커니즘에 대한 이해를 높임으로써 보다 일반적으로 불일치를 이해하고 완화할 수 있기를 기대합니다.
