この論文は、大規模言語モデルを使用して人間の回答者を置き換える合成データセットである「シリコンサンプル」を生成する社会科学研究の新しい方法論について説明します。研究は、シリコンサンプル生成プロセスにおける様々な分析的選択がサンプルの品質に及ぼす影響を調べる。 252の異なる設定を比較分析して、少数の分析的選択でさえ、シリコンサンプルと実際のヒトデータとの間の一致が大きく異なる可能性があることを示した。特に、参加者の順位、応答分布、尺度間の相関関係など、さまざまな点で一貫したパフォーマンスを示す設定がないことを強調し、「万能」設定は存在しないことを示唆する。したがって、シリコンサンプルを使用する際の分析的柔軟性の危険性に注意を促します。