Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PustakAI: Curriculum-Aligned and Interactive Textbooks Using Large Language Models

Created by
  • Haebom
Category
Empty

저자

Shivam Sharma (CSIS Department, BITS Pilani K K Birla Goa Campus, India), Riya Naik (CSIS Department, BITS Pilani K K Birla Goa Campus, India), Tejas Gawas (CSIS Department, BITS Pilani K K Birla Goa Campus, India), Heramb Patil (CSIS Department, BITS Pilani K K Birla Goa Campus, India), Kunal Korgaonkar (CSIS Department, BITS Pilani K K Birla Goa Campus, India)

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 인도 NCERT(National Council of Educational Research and Training) 커리큘럼에 맞는 질문 답변 데이터셋 'NCERT-QA'를 설계하고 평가하는 프레임워크 'PustakAI'를 제시한다. 영어와 과학 과목의 6-8학년 내용을 기반으로 하며, Factoid, Inferential, Other (평가 및 추론) 유형의 질문-답변 쌍을 분류한다. Meta-prompt, few-shot, CoT-style 등의 다양한 프롬프트 기법을 사용하여 데이터셋의 성능을 평가하고, Gemma3:1b, Llama3.2:3b, Nemotron-mini:4b, Llama-4-Scout-17B, Deepseek-r1-70B와 같은 다양한 LLM의 교육적 활용 가능성을 분석한다.

시사점, 한계점

•
시사점:
◦
NCERT 커리큘럼에 특화된 질문-답변 데이터셋 구축을 통해 교육 분야에서 LLM의 활용 가능성을 제시.
◦
다양한 프롬프트 기법을 비교하여 교육적 맥락에 맞는 최적의 접근 방식을 탐색.
◦
오픈소스 및 고성능 LLM의 교육적 활용에 대한 실질적인 분석 제공.
•
한계점:
◦
특정 교육 과정(NCERT)에 초점을 맞추어 다른 교육 환경으로의 일반화가 제한적일 수 있음.
◦
평가에 사용된 LLM의 종류와 성능에 따라 결과의 편향 가능성 존재.
◦
데이터셋의 규모와 품질에 따라 모델 성능의 한계가 있을 수 있음.
◦
윤리적, 사회적 영향에 대한 깊이 있는 논의 부족.
👍
Made with Slashpage