Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Discerning minds or generic tutors? Evaluating instructional guidance capabilities in Socratic LLMs

Created by
  • Haebom

저자

Ying Liu, Can Li, Ting Zhang, Mei Wang, Qiannan Zhu, Jian Li, Hua Huang

개요

대규모 언어 모델(LLM)의 대화 능력은 확장 가능하고 상호작용적인 튜터링을 가능하게 하는 데 큰 기회를 제공한다. 기존 연구는 소크라테스식 질문 생성 능력에 집중했지만, 학습자의 인지 상태에 따라 적응적으로 안내하는 중요한 측면을 간과했다. 본 연구는 질문 생성에서 벗어나, 교수적 안내 능력에 초점을 맞춘다. LLM이 학습자의 상태에 따라 전략을 동적으로 조정하는 전문 튜터를 모방할 수 있는지 질문한다. 이를 위해, 실제 교육 대화를 기반으로 한 벤치마크인 GuideEval을 제안하여, (1) 인식(학습자 상태 추론), (2) 조정(교수 전략 적응), (3) 유도(적절한 반성 자극)의 3단계 행동 프레임워크를 통해 교육적 안내를 평가한다.

시사점, 한계점

시사점:
LLM이 학습자의 상태에 따라 효과적인 적응형 스캐폴딩을 제공하는 데 어려움을 겪는다는 것을 발견했다.
행동 지침 파인튜닝 전략을 도입하여 안내 성능을 크게 향상시켰다.
콘텐츠 중심 평가에서 학습자 중심의 상태 인식 상호작용으로 평가 패러다임을 전환했다.
한계점:
기존 LLM은 학습자가 혼란을 겪거나 방향 전환이 필요할 때 효과적인 적응형 스캐폴딩을 제공하는 데 종종 실패했다.
실패 사례 분석을 통해 이러한 단점에 대한 직관적인 이해를 제공한다.
👍