본 논문은 대규모 언어 모델(LLM)을 사회과학 설문 조사의 인간 피험자 대용으로 사용하는 것에 대한 신뢰성과 반응 편향에 대한 취약성을 조사한다. World Values Survey (WVS) 질문을 사용하여 9가지 다양한 LLM을 대상으로 질문 방식과 답변 옵션 구조에 대한 11가지 변화를 적용하여 167,000개 이상의 모의 인터뷰를 실시하였다. 그 결과, LLM이 변화에 취약할 뿐만 아니라 모든 모델에서 강도는 다르지만 일관된 최신성 편향(recency bias)을 보이며, 마지막에 제시된 답변 옵션을 과도하게 선호하는 것을 발견하였다. 더 큰 모델이 일반적으로 더 강력하지만, 모든 모델은 다른 표현으로 바꾸는 것과 같은 의미 변화 및 복합적인 변화에 여전히 민감하다. 일련의 변화를 적용함으로써 LLM이 인간에게서 확인된 설문 조사 반응 편향과 부분적으로 일치한다는 것을 밝혀냈다. 이는 LLM을 사용하여 합성 설문 조사 데이터를 생성할 때 프롬프트 설계 및 강건성 테스트의 중요성을 강조한다.
