Codebook Reduction and Saturation: Novel observations on Inductive Thematic Saturation for Large Language Models and initial coding in Thematic Analysis
Created by
Haebom
Category
Empty
저자
Stefano De Paoli, Walter Stan Mathis
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 주제 분석 과정을 고찰합니다. 특히, LLM이 생성한 초기 코드의 분석적 포화 상태 문제를 다룹니다. 주제 분석은 상호 연관된 단계들로 구성된 정립된 질적 분석 방법이며, 초기 코딩 단계에서 분석가는 데이터셋의 개별 구성 요소에 레이블을 지정합니다. 포화 상태는 질적 분석의 타당성을 측정하는 방법으로, 초기 코드의 반복성과 재현성과 관련이 있습니다. 본 논문에서는 LLM이 분석적 포화 상태에 얼마나 잘 도달하는지에 대해 고찰하고, 귀납적 주제 포화(ITS)를 측정하는 새로운 기법을 제안합니다. 이 새로운 기법은 DSPy라는 프로그래밍 프레임워크를 활용하여 ITS를 정확하게 측정할 수 있도록 합니다.
시사점, 한계점
•
시사점: LLM을 활용한 주제 분석의 효율성 및 정확성 향상에 기여할 수 있는 새로운 ITS 측정 기법 제시. DSPy 프레임워크를 활용한 정량적 분석 가능성 제시.
•
한계점: 제안된 ITS 측정 기법의 일반화 가능성 및 다른 질적 분석 방법론에 대한 적용 가능성에 대한 추가 연구 필요. LLM의 분석적 포화 상태 달성에 대한 심층적인 분석 및 다양한 LLM 모델에 대한 비교 연구 필요.
