Can Large Language Models Revolutionize Survey Research? Experiments with Disaster Preparedness Responses

작성자

Haebom

카테고리

Empty

저자

Yan Wang, Ziyi Guo, Christopher McCarty

💡 개요

본 연구는 온라인 설문 조사에서 발생하는 응답률 저하, 표본 편향, 결측값 문제, 사기 응답 등 구조적 문제 해결을 위해 대규모 언어 모델(LLM)의 활용 가능성을 탐구합니다. 재난 상황에서의 데이터 품질 중요성을 감안하여, 설문지 설계부터 데이터 분석까지 5단계 프레임워크를 제안하고 Florida 주민 재난 대비 설문 데이터를 활용하여 여러 LLM 설정을 실험했습니다. 특히, Protection Motivation Theory(PMT)를 활용한 LLM이 결측 데이터 처리 및 편향 감소에서 기존 기법 대비 우수한 성능을 보여주었습니다.

🔑 시사점 및 한계

•

LLM은 설문 조사 설계, 데이터 보완, 분석 등 전반적인 과정에서 기존 방법론을 개선할 잠재력을 가지고 있습니다.

•

Theory-informed LLM 접근 방식은 복잡한 데이터 문제 해결에 효과적이며, 특히 재난 상황과 같이 데이터 무결성이 중요한 맥락에서 유용합니다.

•

LLM 기반 보완 방법은 그룹별 오류를 감출 수 있으므로, 향후 연구에서는 그룹별 편향 감사 방안 마련이 필요합니다.

•

Knowledge graph와 통합된 LLM 챗봇은 환각 현상을 관리할 수 있지만, 이를 실제 설문 조사에 안정적으로 적용하기 위한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage