Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Text Annotation via Inductive Coding: Comparing Human Experts to LLMs in Qualitative Data Analysis

Created by
  • Haebom
Category
Empty

저자

Angelina Parfenova, Andreas Marfurt, Alexander Denzler, Juergen Pfeffer

개요

본 논문은 대규모 언어 모델(LLM)을 활용한 귀납적 코딩을 중심으로, 질적 데이터 분석 자동화를 연구한다. 기존의 사전 정의된 라벨을 사용하는 연역적 방법과 달리, 이 연구는 데이터에서 라벨이 도출되는 귀납적 과정을 탐구한다. 6개의 오픈 소스 LLM의 성능을 인간 전문가와 비교 평가했으며, 전문가는 코딩한 인용문의 난이도를 평가했다. 연구 결과, 인간 코더는 복잡한 문장을 라벨링하는 데 능숙하지만, 단순한 문장에는 어려움을 겪는 반면, LLM은 그 반대의 경향을 보였다. 또한, 인간 및 LLM이 생성한 라벨의 체계적인 편차를 테스트 세트의 정답과 비교 분석했다. 인간 주석은 정답과 다를 수 있지만, 다른 인간에게 더 긍정적으로 평가받는 경향이 있었다. 반면, 일부 LLM은 정답과 더 일치하지만 전문가로부터 낮은 평가를 받았다.

시사점, 한계점

인간 코더와 LLM의 라벨링 난이도에 따른 상반된 성능: 인간은 복잡한 문장에, LLM은 단순한 문장에 강점을 보임.
인간 주석은 정답과 다를 수 있지만, 다른 인간에게 더 긍정적으로 평가받음.
일부 LLM은 정답과 더 일치하지만, 전문가 평가가 낮음.
귀납적 코딩 자동화에 LLM 활용 가능성을 제시.
LLM의 질적 데이터 분석 자동화에서의 잠재력 및 한계점 제시.
연구 대상 LLM의 종류가 제한적임.
평가 방법 및 척도의 추가적인 연구 필요.
👍