Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM-Generated Negative News Headlines Dataset: Creation and Benchmarking Against Real Journalism

Created by
  • Haebom
Category
Empty

저자

Olusola Babalola, Bolanle Ojokoh, Olutayo Boyinbode

개요

본 연구는 실제 데이터 확보 및 개인정보 보호 문제를 해결하기 위해 대규모 언어 모델(LLM)이 생성한 데이터셋이 자연어 처리(NLP) 작업에 미칠 수 있는 영향을 조사합니다. 특히, 감성 분석의 핵심 요소인 부정적 가치 텍스트에 초점을 맞춰, LLM이 생성한 합성 뉴스 헤드라인을 실제 데이터의 대안으로 활용하는 방안을 탐구합니다. 다양한 사회적 영역에서 다양한 부정적 감정을 포착하기 위해 맞춤형 프롬프트를 사용하여 부정적 뉴스 헤드라인의 전문 코퍼스를 만들었습니다. 전문가 검토를 통해 합성 헤드라인의 유효성을 검증하고, 내용, 어조, 길이, 스타일에 대한 실제 부정적 뉴스 헤드라인과의 정렬을 평가하기 위해 임베딩 공간에서 추가 분석을 수행했습니다. 실제 헤드라인과의 상관 관계, 복잡성, 일관성, 현실감과 같은 주요 지표를 평가했습니다. 비교 복잡성 테스트, 비교 가독성 테스트, 비교 POS 프로파일링, BERTScore, 비교 의미론적 유사성을 포함한 평가를 사용하여 합성 데이터셋을 두 세트의 실제 뉴스 헤드라인과 비교했습니다. 그 결과, 생성된 헤드라인이 실제 헤드라인과 일치하며 POS 프로파일 테스트의 고유 명사 점수에서만 뚜렷한 차이를 보였습니다.

시사점, 한계점

LLM으로 생성된 합성 데이터는 실제 데이터의 대안이 될 수 있으며, 데이터 획득 및 개인정보 보호 문제를 해결하는 데 기여할 수 있습니다.
부정적 감성 분석을 위한 데이터셋 구축에 성공적으로 활용되었으며, 전문 분야의 다양한 부정적 감정을 효과적으로 포착했습니다.
생성된 헤드라인은 내용, 어조, 길이, 스타일 면에서 실제 헤드라인과 유사한 특성을 보였습니다.
POS 프로파일링 테스트의 고유 명사 점수에서 차이가 발생하여, 합성 데이터의 한계점을 보여줍니다.
연구 결과는 특정 NLP 작업에 국한되어 있으며, 다른 작업에 대한 일반화 가능성은 추가 연구가 필요합니다.
합성 데이터의 품질은 사용된 LLM 및 프롬프트의 품질에 크게 의존합니다.
👍