본 논문은 다양한 배경과 삶의 경험을 가진 여러 명의 주석자의 의견을 모델 학습에 통합하는 다중 관점 접근 방식을 제안합니다. 논란이 되는 주제에 대한 스탠스 탐지 작업에서 다중 주석자의 스탠스를 활용하여 관점 인식 모델을 설계하고 평가하는 새로운 프레임워크를 제시하며, 인간과 LLM(대규모 언어 모델) 주석을 모두 포함하는 새로운 데이터셋을 공개합니다. 실험 결과, 다중 관점 접근 방식은 단일 정답을 사용하는 기존 접근 방식보다 높은 F1 점수를 달성하여 분류 성능이 향상됨을 보여줍니다. 하지만 스탠스 탐지 작업의 주관성이 높기 때문에 모델의 신뢰도 점수는 낮게 나타났습니다.
시사점, 한계점
•
시사점: 다양한 관점을 고려한 다중 관점 접근 방식이 스탠스 탐지 작업에서 더 나은 성능을 보임을 증명합니다. LLM을 활용한 데이터셋 구축 방법을 제시합니다.
•
한계점: 스탠스 탐지 작업의 높은 주관성으로 인해 모델의 신뢰도가 낮아질 수 있습니다. 제안된 프레임워크의 일반화 가능성에 대한 추가 연구가 필요합니다. 사용된 LLM의 종류와 성능에 대한 자세한 설명이 부족합니다.
