यह पत्र सामाजिक विज्ञान सर्वेक्षणों में मानव विषयों के प्रतिनिधि के रूप में बड़े पैमाने पर भाषा मॉडल (एलएलएम) की प्रतिक्रिया पूर्वाग्रह के प्रति विश्वसनीयता और भेद्यता की जांच करता है। विश्व मूल्य सर्वेक्षण (डब्ल्यूवीएस) प्रश्नावली का उपयोग करते हुए, हमने नौ अलग-अलग एलएलएम के साथ 167,000 से अधिक मॉक साक्षात्कार किए, प्रश्न प्रारूप और प्रतिक्रिया विकल्प संरचना में 11 परिवर्तन लागू किए। हम पाते हैं कि एलएलएम न केवल परिवर्तन के लिए असुरक्षित हैं, बल्कि सभी मॉडलों में अलग-अलग शक्तियों के साथ लगातार हालिया पूर्वाग्रह भी प्रदर्शित करते हैं, और प्रस्तुत अंतिम प्रतिक्रिया विकल्प को अधिक पसंद करते हैं। हालांकि बड़े मॉडल आम तौर पर अधिक मजबूत होते हैं, फिर भी सभी मॉडल अर्थ संबंधी परिवर्तनों जैसे कि पुनर्रचना और जटिल परिवर्तनों के प्रति संवेदनशील होते हैं। परिवर्तनों की एक श्रृंखला लागू करने से, हम पाते हैं कि एलएलएम आंशिक रूप से मनुष्यों में देखे गए सर्वेक्षण प्रतिक्रिया पूर्वाग्रहों से मेल खाते हैं
