본 논문은 대규모 언어 모델(LLM)을 사용하여 사회 미디어 데이터의 전문가 주도 주제 분석을 복제하는 가능성을 평가했습니다. 두 개의 시간적으로 겹치지 않는 Reddit 데이터셋(xylazine 관련, 각각 n=286, n=686)과 12개의 전문가가 도출한 주제를 사용하여 5개의 LLM을 전문가 코딩과 비교 평가했습니다. 다중 레이블 분류 대신 일련의 이진 분류 작업으로 모델링하여, 제로샷, 싱글샷, 퓨샷 프롬프팅 전략을 사용하고 정확도, 정밀도, 재현율, F1 점수를 통해 성능을 측정했습니다. 검증 세트에서, 두 번의 샷 프롬프팅을 사용한 GPT-4o가 가장 좋은 성능을 보였습니다 (정확도: 90.9%; F1 점수: 0.71). 높은 빈도의 주제의 경우, 모델이 도출한 주제 분포는 전문가 분류와 매우 유사했습니다 (예: xylazine 사용: 13.6% vs. 17.8%; MOUD 사용: 16.5% vs. 17.8%). 결론적으로, 퓨샷 LLM 기반 접근 방식은 주제 분석을 자동화하여 질적 연구에 확장 가능한 보충 수단을 제공할 수 있음을 시사합니다.
