본 논문은 대규모 언어 모델을 이용하여 인간 응답자를 대체하는 합성 데이터셋인 "실리콘 샘플"을 생성하는 사회과학 연구의 새로운 방법론에 대해 다룬다. 연구는 실리콘 샘플 생성 과정에서의 다양한 분석적 선택이 샘플의 질에 미치는 영향을 조사한다. 252가지의 서로 다른 설정을 비교 분석하여, 소수의 분석적 선택만으로도 실리콘 샘플과 실제 인간 데이터 간의 일치성이 크게 달라질 수 있음을 보여준다. 특히, 참가자 순위, 응답 분포, 척도 간 상관관계 등 여러 측면에서 일관된 성능을 보이는 설정은 없다는 점을 강조하며, "만능" 설정은 존재하지 않음을 시사한다. 따라서 실리콘 샘플 사용 시 분석적 유연성의 위험성에 대한 주의를 촉구한다.
