본 논문은 최신 생성형 언어 모델을 사회과학 연구에 적용하는 데 있어 발생하는 문제점을 다룹니다. 특히, 도덕적 기반 이론 설문지에 대한 응답을 생성하는 과정에서 정치적 성향을 부여한 모델들이 일관성 없는 결과와 낮은 정확성을 보이는 현상을 분석합니다. 다양한 정치적 페르소나를 적용한 모델들을 통해 생성된 합성 데이터와 실제 인간 응답 간의 상관관계가 약하다는 점, 특히 보수적 페르소나를 부여한 모델에서 이러한 현상이 두드러진다는 점을 밝힙니다. 이는 생성형 언어 모델이 맥락 내 프롬프팅을 통해 이념을 일관되게 표현하는 데 어려움을 겪는다는 것을 시사합니다. 따라서 사회적 상호작용 시뮬레이션에 언어 모델을 사용하려면 맥락 내 최적화 또는 매개변수 조작을 개선하여 심리적, 사회적 고정관념과 제대로 일치시켜야 함을 주장합니다.
