본 논문은 Reddit의 긴 대화 스레드에서 사용자 의견 변화를 분석하는 데 초점을 맞추고 있습니다. 기존 연구들이 각 게시물을 독립적으로 취급하여 데이터셋을 구축한 것과 달리, 본 논문에서는 764개의 긴 다중 사용자 Reddit 대화 스레드에 대한 데이터셋 USDC를 구축합니다. USDC는 사용자의 입장(5점 척도)과 독단성(4점 척도)을 분류하기 위한 어노테이션을 포함합니다. 어노테이션 과정의 어려움을 해결하기 위해 Mistral Large와 GPT-4를 활용한 제로샷, 원샷, 퓨샷 어노테이션에 다수결 투표 방식을 적용하였으며, LLM 어노테이션과 인간 어노테이션 간 일관성을 확인했습니다. 마지막으로, USDC를 사용하여 LLaMA, Falcon, Vicuna와 같은 소형 언어 모델을 미세 조정하고 지시 조정하여 입장 및 독단성 분류 작업을 수행합니다. 데이터셋과 코드는 공개적으로 제공됩니다.
