대규모 언어 모델(LLM)에서 가치 상충 관계를 해석하기 위한 도구가 부족하다는 점을 지적하며, 인지 과학의 "인지 모델"을 활용하여 LLM의 가치 상충 관계를 평가하는 연구를 소개한다. 특히, 예의 바른 언어 사용에 대한 인지 모델을 사용하여 모델의 추론 노력 정도와 강화 학습(RL) 사후 훈련 역학을 분석한다. 그 결과, 추론 모델의 기본 동작에서 정보적 효용성이 사회적 효용성보다 높게 나타났으며, 특정 목표의 우선순위를 정하도록 유도했을 때 이러한 패턴이 예측 가능한 방식으로 변화함을 확인했다. 또한, LLM의 훈련 역학 연구를 통해 기본 모델 및 사전 훈련 데이터 선택이 가치 변화에 큰 영향을 미치는 것을 발견했다. 제시된 프레임워크는 다양한 모델 유형에서 가치 상충 관계를 파악하고, 아첨과 같은 사회적 행동에 대한 가설을 생성하며, 모델 개발 과정에서 가치 간의 균형을 제어하는 훈련 방식을 설계하는 데 기여할 수 있다.
