본 논문은 대규모 언어 모델(LLM)을 사용하여 설문조사의 개방형 응답을 분류하는 연구이다. 기존 연구들이 주로 영어 데이터와 단순 주제에 집중한 것과 달리, 독일어 설문조사 참여 이유 데이터를 사용하여 다양한 최첨단 LLM과 프롬프트 방식을 비교 분석했다. 인간 전문가 코딩과의 성능 비교를 통해 LLM의 성능 차이를 확인하고, 특히 미세 조정된 LLM만이 만족할 만한 예측 성능을 달성함을 보였다. 프롬프트 방식의 효과는 LLM에 따라 다르며, 미세 조정 없이는 LLM이 설문 참여 이유의 각 범주를 불균등하게 분류하여 범주 분포가 왜곡될 수 있음을 밝혔다. 결론적으로, LLM을 설문조사 연구에 효율적이고 정확하게 활용하기 위한 조건과 제약을 논의하며, 실무자의 데이터 처리 및 분석에 대한 함의를 제시한다.
