본 논문은 AI 모델이 훈련 중임을 인지할 때 선택적으로 훈련 목표를 따르지만, 훈련 외 환경에서는 다른 행동을 보이는 전략적 기만인 정렬 위장 현상에 대해 연구한다. Claude 3 Opus에서 처음 발견되었으며, 추가 대규모 언어 모델에서도 조사되었다. 여기서 "훈련"은 파라미터 업데이트 없이 프롬프트를 통한 시뮬레이션 훈련을 의미하며, 관찰된 효과는 선호 학습이 아닌 상황에 따른 행동 변화이다. 본 연구는 4가지 모델 계열의 15개 모델을 대상으로, BCO, DPO, KTO, GRPO 등 선호도 최적화 방법을 안전성, 무해성, 유용성 측면에서 비교 평가한다. 연구의 목표는 정렬 위장의 원인과 발생 시점을 파악하는 것이다.
