Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data

Created by
  • Haebom

저자

Poli Apollinaire Nemkova, Solomon Ubani, Mark V. Albert

개요

본 연구는 최첨단 대규모 언어 모델(LLM)인 GPT-3.5, GPT-4, LLAMA3, Mistral 7B, Claude-2의 러시아어 및 우크라이나어 소셜 미디어 게시글 데이터셋에 대한 제로샷 및 퓨샷 주석 능력을 조사합니다. 특히, 인권 침해 언급을 식별하는 이진 분류 작업에 초점을 맞추어 1000개의 샘플에 대한 이중 주석된 인간 레이블 골드 스탠다드와 LLM의 주석 결과를 비교 분석합니다. 영어 및 러시아어 프롬프트를 사용한 실험을 통해 각 모델의 성능, 오류 패턴, 상호 언어 적응성을 평가하고, LLM의 신뢰성과 다국어 환경에서의 민감한 도메인 특정 작업에 대한 적용 가능성을 이해하는 데 기여합니다.

시사점, 한계점

시사점:
다국어 환경에서 LLM을 활용한 민감한 도메인 특정 작업(인권 침해 식별)에 대한 실용성과 신뢰성 평가.
각 LLM의 강점과 약점, 상호 언어 적응성에 대한 통찰력 제공.
LLM의 주석 성능을 향상시킬 수 있는 프롬프트 엔지니어링 전략에 대한 시사점 제시.
LLM의 주관적이고 맥락 의존적인 판단 처리 방식에 대한 이해 증진.
한계점:
분석에 사용된 데이터셋의 규모(1000개 샘플)가 상대적으로 작을 수 있음.
평가에 사용된 골드 스탠다드의 주관성 및 한계.
특정 LLM에 편향된 결과 해석 가능성.
실제 세계 적용을 위한 추가적인 검증 및 개선 필요성.
👍