Sign In

Rethinking AI Evaluation in Education: The TEACH-AI Framework and Benchmark for Generative AI Assistants

Created by
  • Haebom
Category
Empty

저자

Shi Ding, Brian Magerko

개요

생성형 인공지능이 교육을 변화시키는 가운데, 기존 AI 평가는 기술적 성능 지표에 치우쳐 인간의 정체성, 학습자의 주체성, 맥락적 학습 과정, 윤리적 고려 사항을 간과하고 있다. 본 논문은 교육 맥락에서 생성형 AI 시스템의 설계, 개발 및 평가를 안내하기 위한 TEACH-AI (Trustworthy and Effective AI Classroom Heuristics)라는 도메인 독립적이고, 교육학적으로 기반하며, 이해관계자 중심의 프레임워크를 제시한다. 광범위한 문헌 검토를 바탕으로 구축된 10가지 구성 요소 평가 프레임워크와 툴킷 체크리스트는 교육 분야에서 확장 가능하고 가치 중심적인 AI 평가의 기반을 제공한다. TEACH-AI는 사회 기술적, 교육적, 이론적, 응용적 관점에서 "평가"를 재고하며, AI 및 교육 분야의 설계자, 개발자, 연구자 및 정책 입안자를 참여시킨다. 본 연구는 교육에서 "효과적인" AI의 구성을 재고하고, 공동 창작, 포용성 및 장기적인 인간, 사회, 교육적 영향을 촉진하는 모델 평가 방식을 설계하도록 권장한다.

시사점, 한계점

TEACH-AI 프레임워크는 교육적 맥락에서 생성형 AI 시스템의 설계 및 평가를 위한 가이드라인을 제공한다.
가치 중심적인 AI 평가를 통해 인간 중심적이고 윤리적인 AI 개발을 촉진한다.
다양한 이해관계자의 참여를 통해 포용적인 AI 개발 환경을 조성한다.
확장 가능한 평가 방법을 제시하여 교육 분야에서의 AI 활용을 지원한다.
본 논문은 구체적인 AI 시스템의 성능 평가 결과를 제시하지 않는다.
프레임워크의 실제 적용 사례 및 효과에 대한 추가적인 연구가 필요하다.
👍