Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Generative Large Language Models (gLLMs) in Content Analysis: A Practical Guide for Communication Research

Created by
  • Haebom

저자

Daria Kravets-Meinke, Hannah Schmid-Petri, Sonja Niemann, Ute Schmid

개요

ChatGPT와 같은 생성형 대규모 언어 모델(gLLMs)은 내용 분석을 위해 커뮤니케이션 연구에 점점 더 많이 사용되고 있습니다. 연구에 따르면 gLLMs는 커뮤니케이션 과학과 관련된 다양한 코딩 작업에서 크라우드 워커와 연구 조교와 같은 숙련된 코더보다 성능이 뛰어나며, 시간과 비용도 훨씬 적게 듭니다. 또한 gLLMs는 암시적인 의미와 맥락 정보를 해독하고, 자연어를 사용하여 지시할 수 있으며, 기본적인 프로그래밍 기술만으로도 배포할 수 있으며, 검증 데이터 세트를 제외하고는 거의 또는 전혀 주석이 달린 데이터가 필요하지 않으므로 자동화된 내용 분석에 있어서 패러다임 전환을 나타냅니다. 잠재력에도 불구하고, gLLMs를 커뮤니케이션 연구의 방법론적 도구 키트에 통합하는 것은 아직 개발되지 않았습니다. gLLM 지원 정량적 내용 분석에서 연구자는 결과 품질에 영향을 미치는 최소 7가지의 중요한 과제, 즉 (1) 코드북 개발, (2) 프롬프트 엔지니어링, (3) 모델 선택, (4) 매개변수 조정, (5) 반복적 개선, (6) 모델의 신뢰성 검증, (7) 성능 향상(선택 사항)을 해결해야 합니다. 본 논문은 gLLM 지원 정량적 내용 분석에 대한 새로운 연구를 종합하고 이러한 과제를 해결하기 위한 포괄적인 모범 사례 가이드를 제안합니다. 우리의 목표는 gLLM 기반 내용 분석을 더 많은 커뮤니케이션 연구자들에게 접근 가능하게 하고, 타당성, 신뢰성, 재현성 및 연구 윤리에 대한 확립된 학문적 품질 표준을 준수하도록 보장하는 것입니다.

시사점, 한계점

시사점:
gLLMs는 기존의 내용 분석 방법론보다 시간과 비용 효율적인 대안을 제시합니다.
gLLMs는 암시적 의미와 맥락 정보를 파악하는 데 특화되어 있어 분석의 깊이를 더할 수 있습니다.
gLLMs는 자연어 기반 지시를 통해 접근성을 높여, 프로그래밍 기술이 부족한 연구자도 활용 가능하게 합니다.
gLLMs 기반의 내용 분석은 검증 데이터 세트를 제외하고는 추가적인 주석 데이터가 거의 필요하지 않습니다.
본 연구는 gLLM 기반 내용 분석의 모범 사례 가이드를 제시하여, 연구의 품질과 재현성을 보장합니다.
한계점:
gLLMs의 결과 품질에 영향을 미치는 7가지 주요 과제(코드북 개발, 프롬프트 엔지니어링 등)를 해결해야 합니다.
gLLMs의 활용은 아직 초기 단계이며, 커뮤니케이션 연구 분야에서 널리 사용되기 위해서는 추가적인 연구가 필요합니다.
gLLMs의 신뢰성, 타당성, 재현성, 연구 윤리에 대한 엄격한 기준을 준수해야 합니다.
👍