본 논문은 대규모 언어 모델(LLM)을 이용한 설문조사 개방형 응답 분류의 효율성과 정확성을 독일어 데이터를 사용하여 분석한 연구이다. 다양한 최첨단 LLM과 프롬프트 접근 방식을 비교하고, 전문가 코딩을 기준으로 성능을 평가하였다. 연구 결과, LLM의 성능은 모델에 따라 크게 달랐으며, 미세 조정된 LLM만이 만족할 만한 예측 성능을 달성했다. 프롬프트 방식의 성능 차이는 사용된 LLM에 따라 달라졌고, 미세 조정 없이 LLM을 사용할 경우 설문 참여 이유의 서로 다른 범주에 대한 분류 성능이 불균등하여 범주 분포가 달라지는 것으로 나타났다. 이 연구는 LLM을 설문조사 연구에 효율적, 정확하고 신뢰성 있게 활용할 수 있는 조건에 대한 연구에 기여한다.
