Sign In

A Computational Method for Measuring "Open Codes" in Qualitative Analysis

Created by
  • Haebom
Category
Empty

μ €μž

John Chen, Alexandros Lotsos, Sihan Cheng, Caiyi Wang, Lexie Zhao, Yanjia Zhang, Jessica Hullman, Bruce Sherin, Uri Wilensky, Michael Horn

πŸ’‘ κ°œμš”

λ³Έ 논문은 질적 λΆ„μ„μ—μ„œ 귀납적 μ½”λ”©μ˜ 방법둠적 엄밀성을 보μž₯ν•˜κΈ° μœ„ν•œ 계산 방법을 μ œμ•ˆν•©λ‹ˆλ‹€. μ—°κ΅¬μžλ“€μ€ LLM을 ν™œμš©ν•œ μ•Œκ³ λ¦¬μ¦˜μœΌλ‘œ κ°œλ³„ 코딩뢁을 ν†΅ν•©ν•˜κ³ , 4κ°€μ§€ μƒˆλ‘œμš΄ μ§€ν‘œ(Coverage, Overlap, Novelty, Divergence)λ₯Ό μ‚¬μš©ν•˜μ—¬ 각 μ½”λ”μ˜ 기여도λ₯Ό μΈ‘μ •ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 인간 μ—°κ΅¬μžμ™€ μƒμ„±ν˜• AIλ₯Ό ν™œμš©ν•œ 질적 λΆ„μ„μ—μ„œ λ°œμƒν•  수 μžˆλŠ” μ½”λ”© λ¬Έμ œμ μ„ μ§„λ‹¨ν•˜κ³  질적 λΆ„μ„μ˜ 신뒰성을 λ†’μ΄λŠ” 것을 λͺ©ν‘œλ‘œ ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μƒμ„±ν˜• AI(GAI)의 질적 뢄석 지원 ν™•λŒ€μ— λ”°λ₯Έ 방법둠적 μ—„λ°€μ„± ν™•λ³΄μ˜ ν•„μš”μ„±μ„ μ œκΈ°ν•˜λ©°, 이λ₯Ό μœ„ν•œ μƒˆλ‘œμš΄ 계산적 μ ‘κ·Ό 방식을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 4κ°€μ§€ μ§€ν‘œ(Coverage, Overlap, Novelty, Divergence)λŠ” 귀납적 μ½”λ”©μ˜ νŠΉμ„±μ„ λ°˜μ˜ν•˜λ©΄μ„œλ„ μ½”λ”©μ˜ μ§ˆμ„ κ°κ΄€μ μœΌλ‘œ μΈ‘μ •ν•  수 μžˆλŠ” 잠재λ ₯을 λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
인간 코더와 GAI μ½”λ”© κ²°κ³Ό λͺ¨λ‘μ— 적용 κ°€λŠ₯ν•˜μ—¬, ν–₯ν›„ 인간-AI ν˜‘μ—… 질적 뢄석 μ—°κ΅¬μ˜ 신뒰도λ₯Ό λ†’μ΄λŠ” 데 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
코딩뢁 톡합 μ•Œκ³ λ¦¬μ¦˜μ˜ μ„±λŠ₯ 및 μ œμ•ˆλœ μ§€ν‘œμ˜ μΌλ°˜ν™” κ°€λŠ₯성은 좔가적인 μ‹€ν—˜κ³Ό 검증을 톡해 λ”μš± 강화될 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘