Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Optimizing Generative AI's Accuracy and Transparency in Inductive Thematic Analysis: A Human-AI Comparison

Created by
  • Haebom
Category
Empty

저자

Matthew Nyaaba, Min SungEun, Mary Abiswin Apam, Kwame Owoahene Acheampong, Emmanuel Dwamena

개요

본 연구는 OpenAI API를 이용한 귀납적 주제 분석의 활용 가능성을 탐색합니다. 단계적 전략을 통해 GenAI 생성 코딩의 투명성과 추적성을 높였으며, 5단계 분석 및 평가 과정을 거쳤습니다. 단계적 프롬프트를 사용하여 GenAI는 효과적으로 코드와 근거 설명 및 참고자료를 생성하고, 주제를 분류하고, 실제 상황과 연결하여 광범위한 해석을 도출했습니다. GenAI는 코딩과 주제 분류에서 인간 코더와 비슷한 수준의 성능을 보였지만, 해석에 있어서는 인간 코더보다 더 일반적이고 개념적인 접근 방식을 보였습니다. 인간 코더는 주제 기반의 구체적인 해석을 제공했습니다. Naeem et al.(2023)의 6단계 주제 분석 프레임워크에 매핑하여, GenAI는 6단계 중 4단계를 수행했고, 인간 코더는 3단계를 수행했습니다. GenAI의 코딩, 주제 분류 및 해석은 Naeem et al.의 프레임워크의 키워딩, 코딩, 주제 분류 및 해석과 일치하지만, 인간 코더의 해석은 더 광범위한 개념화보다는 주제와 더 밀접하게 관련되었습니다. 이 연구는 최소한의 인간 개입으로 귀납적 주제 분석을 수행하는 실행 가능한 도구로서 GenAI의 위치를 제시하며, 질적 데이터 분석에 대한 효율적이고 구조적인 접근 방식을 제공합니다. 향후 연구는 GenAI의 귀납적 주제 분석을 기존의 질적 연구 프레임워크와 일치시키는 특수 프롬프트 개발을 탐구해야 합니다.

시사점, 한계점

시사점:
OpenAI API를 활용한 귀납적 주제 분석의 효율성과 효과성을 입증.
최소한의 인간 개입으로 질적 데이터 분석 가능성 제시.
GenAI를 질적 연구의 보조 도구로 활용 가능성 확인.
한계점:
GenAI의 해석이 인간 코더보다 일반적이고 개념적임.
GenAI가 Naeem et al.(2023)의 6단계 주제 분석 프레임워크의 모든 단계를 수행하지 못함.
GenAI의 주제 분석 결과를 신뢰할 수 있도록 하는 특수 프롬프트 개발 필요.
기존 질적 연구 프레임워크와 GenAI의 주제 분석 방법론 간의 차이점 해결 필요.
👍