본 논문은 여러 선택지 질문 중 정답이 없는 경우, 지시사항 따르기와 비판적 추론 능력의 균형을 평가하는 새로운 프레임워크를 제시합니다. 산술, 특정 분야 지식, 고위험 의료 의사 결정 과제에 대한 체계적인 평가를 통해, 사후 조정된 모델은 잘못된 옵션을 선택하는 경향이 있는 반면, 기본 모델은 모델 크기에 따라 향상된 거부 능력을 보이는 것을 보여줍니다. 분석 결과, 유용성을 높이기 위한 조정 기술이 의도치 않게 모델의 반성적 판단(잘못된 옵션에 직면했을 때 기본 동작을 무시하는 능력)을 손상시킬 수 있음을 밝힙니다. 또한 유사한 지시사항 따르기 편향을 보여주는 병렬 인간 연구를 수행하여, 이러한 편향이 정렬에 사용되는 인간 피드백 데이터 세트를 통해 어떻게 전파될 수 있는지에 대한 시사점을 제시합니다. 모델 크기, 훈련 기술 및 프롬프트 엔지니어링의 영향을 조사하는 광범위한 ablation 연구를 제공합니다. 이 연구 결과는 조정 최적화와 비판적 추론 능력 보존 사이의 근본적인 긴장감을 강조하며, 실제 배포를 위한 보다 강력한 AI 시스템 개발에 중요한 시사점을 제공합니다.
