Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Large Language Models for Sentiment Analysis to Detect Social Challenges: A Use Case with South African Languages

Created by
  • Haebom
Category
Empty

저자

Koena Ronny Mabokela, Tim Schlippe, Matthias Wolfel

개요

본 논문은 소셜 미디어 게시물에 대한 감성 분석을 통해 사회적 문제를 파악하는 데 있어 대규모 언어 모델(LLM)의 활용 가능성을 연구한다. 특히, 남아프리카 공화국의 영어, 세페디, 세츠와나 언어로 작성된 소셜 미디어 게시물에서 GPT-3.5, GPT-4, LlaMa 2, PaLM 2, Dolly 2 등 다양한 LLM의 제로샷 성능을 분석하여 10개의 주요 주제에 대한 감성 극성을 조사했다. 연구 결과, LLM, 주제, 언어에 따라 성능 차이가 컸으며, 여러 LLM의 결과를 융합했을 때 1% 미만의 감성 분류 오류율을 달성했다. 이를 통해 사회적 문제 탐지 및 특정 주제와 언어 집단에 대한 조치 필요성을 파악하는 데 활용할 수 있는 신뢰성 있는 감성 분석 시스템 개발의 가능성을 제시한다.

시사점, 한계점

다양한 LLM의 제로샷 감성 분석 성능 비교: 여러 LLM의 성능을 비교 분석하여 각 모델의 강점과 약점을 파악.
언어별, 주제별 감성 분석: 남아프리카 공화국 언어(세페디, 세츠와나)를 포함, 특정 지역 사회의 사회 문제 파악에 기여.
LLM 결과 융합을 통한 성능 향상: 여러 LLM의 결과를 결합하여 감성 분류 정확도를 높이는 방법을 제시.
한계점:
특정 언어 및 사회 문제에 국한된 연구: 일반화의 어려움.
모델 성능의 지속적인 변화: LLM의 특성상 모델 업데이트에 따른 성능 변화를 고려해야 함.
윤리적 고려 부족: 감성 분석 결과가 오용될 수 있는 가능성에 대한 논의 부재.
👍