정치적 논쟁과 관련 논의 증가에 따라, 시민들의 정치적 숙고를 돕기 위한 자동 분석 방법론 개발 필요성이 대두되었다. 정치 언어의 특수성과 논쟁의 논증적 형태(숨겨진 의사소통 전략 및 암묵적 주장 활용)는 기존 범용 사전 훈련 언어 모델(Language Model)조차 이 과제를 어렵게 만든다. 이러한 문제를 해결하기 위해, 정치 담론 언어에 특화된 사전 훈련 언어 모델인 RooseBERT를 제안한다. RooseBERT는 대규모 영어 정치 토론 및 연설 코퍼스(8,000개 토론, 각 토론은 다양한 주제에 대한 여러 하위 토론으로 구성)로 훈련되었다. RooseBERT의 성능을 평가하기 위해, 입장 감지, 감성 분석, 주장 요소 감지 및 분류, 주장 관계 예측 및 분류 등 4가지 정치 토론 분석 관련 하위 작업에 fine-tuning을 수행했다. 결과는 일반적인 범용 언어 모델보다 4가지 작업에서 유의미한 성능 향상을 보여주었으며, 도메인별 사전 훈련이 정치 토론 분석 성능을 향상시킴을 입증했다. RooseBERT는 연구 커뮤니티에 공개되었다.
