Understanding Learner-LLM Chatbot Interactions and the Impact of Prompting Guidelines
Created by
Haebom
저자
Cansu Koyuturk, Emily Theophilou, Sabrina Patania, Gregor Donabauer, Andrea Martinenghi, Chiara Antico, Alessia Telari, Alessia Testa, Sathya Bursic, Franca Garzotto, Davinia Hernandez-Leo, Udo Kruschwitz, Davide Taibi, Simona Amenta, Martin Ruskov, Dimitri Ognibene
개요
본 논문은 대규모 언어 모델(LLM) 기반 챗봇과의 상호작용에서 사용자들이 효과적인 프롬프트 작성에 어려움을 겪는다는 점을 지적하며, 구조화된 프롬프팅 지침이 사용자 상호작용에 미치는 영향을 교육 실험을 통해 연구합니다. 세 가지 유형의 프롬프팅 지침(구조적 방법론을 통해 개발된 작업 특정 프레임워크와 두 가지 기준 접근 방식)을 비교 분석하고, 107명의 사용자 642회 상호작용 데이터를 Von NeuMidas 어노테이션 스키마를 이용하여 분석합니다. 이를 통해 사용자 행동 패턴, 프롬프팅 전략 준수 여부, AI 응답 품질 변화 등을 평가하여 효과적인 프롬프팅 지침 개발 및 AI 상호작용 향상 방안을 제시합니다.
시사점, 한계점
•
시사점:
◦
효과적인 프롬프팅 지침이 LLM 기반 챗봇 사용자의 상호작용 능력 향상에 기여함을 실험적으로 증명.
◦
다양한 프롬프팅 지침의 효과를 비교 분석하여 최적의 접근 방식 제시.
◦
Von NeuMidas 어노테이션 스키마를 활용한 체계적인 데이터 분석으로 사용자 행동 패턴과 프롬프팅 오류 분석 가능.
◦
AI 리터러시 향상, 챗봇 사용성 개선, 더욱 반응성이 좋은 AI 시스템 설계에 대한 시사점 제공.
•
한계점:
◦
실험 참여자 수와 상호작용 데이터의 규모가 제한적일 수 있음. (107명 사용자, 642회 상호작용)
◦
특정 교육 환경에서의 실험 결과이므로, 일반화 가능성에 대한 추가 연구 필요.
◦
Von NeuMidas 어노테이션 스키마의 일반적인 적용성 및 신뢰도에 대한 추가 검증 필요.
