본 논문은 대규모 언어 모델(LLM)을 사용하여 설문 조사 질문에 대한 인간의 응답을 시뮬레이션하고, 신뢰할 수 있는 통찰력을 얻기 위해 불확실성 정량화를 수행하는 방법을 연구합니다. LLM 시뮬레이션 응답의 불완전성을 해결하기 위해, 시뮬레이션된 모집단과 실제 모집단 간의 분포 차이를 고려하여 모집단 매개변수에 대한 신뢰 구간을 생성합니다. 핵심적인 혁신은 시뮬레이션 응답의 최적 개수를 결정하는 방법에 있습니다. 시뮬레이션 응답이 너무 많으면 신뢰 구간이 지나치게 좁아지고 적용 범위가 낮아지며, 너무 적으면 추정치가 과도하게 느슨해집니다. 이를 해결하기 위해, 본 논문의 방법은 적응적으로 시뮬레이션 표본 크기를 선택하여 평균 사례 적용 범위 보장을 합니다. 이 방법은 LLM의 정확도나 신뢰 구간을 구성하는 절차에 관계없이 광범위하게 적용 가능하며, 선택된 표본 크기는 LLM과 목표 인간 모집단 간의 불일치 정도를 정량화합니다. 실제 데이터셋과 LLM을 사용하여 본 방법을 설명합니다.
