Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Detecting value-expressive text posts in Russian social media

Created by
  • Haebom

저자

Maria Milkova, Maksim Rudnev, Lidia Okolskaya

개요

본 논문은 러시아 소셜 미디어 VKontakte에서 가치 표현 게시물을 정확하게 감지하는 모델을 개발하는 것을 목표로 한다. 설문조사와 같은 자극 기반 방법이 비효율적인 경우(예: 접근하기 어려운 인구) 소셜 미디어에서 개인적 가치를 연구하면 사회적 가치가 진화하는 방식과 이유를 밝힐 수 있다는 점에 착안하였다. 5,035개의 게시물을 세 명의 전문가, 304명의 크라우드 워커, 그리고 ChatGPT를 이용하여 주석을 달았으며, 활성 학습 접근 방식을 포함한 인간과 AI 지원 주석의 앙상블을 적용하여 다양한 사전 훈련된 트랜스포머 기반 언어 모델의 임베딩을 사용하여 여러 분류 모델을 훈련시켰다. 미세 조정된 rubert-tiny2 모델의 임베딩을 사용하여 최상의 성능(F1 = 0.75, F1-macro = 0.80)을 달성했으며, 이 모델은 러시아 소셜 미디어 사용자 내부 및 사용자 간의 가치 연구에 중요한 단계를 제공한다. 크라우드 워커와 전문가 간의 게시물 분류 일치도는 중간 수준이었고, ChatGPT는 일관성이 더 높았지만 스팸 감지에 어려움을 겪었다.

시사점, 한계점

시사점: 러시아 소셜 미디어에서 가치 표현 게시물을 높은 정확도로 감지하는 모델 개발에 성공하여 러시아 소셜 미디어 사용자들의 가치 연구에 기여할 수 있음. 인간과 AI의 협업을 통한 데이터 주석 방식의 효용성을 보여줌.
한계점: 크라우드 워커와 전문가 간의 주석 일치도가 중간 수준에 그쳤다는 점. ChatGPT가 스팸 감지에 어려움을 겪었던 점. 모델의 성능 평가가 러시아 소셜 미디어 VKontakte에 국한되어 일반화 가능성에 대한 추가 연구가 필요함. 데이터셋의 편향성이 모델의 성능에 영향을 미칠 가능성 존재.
👍