AI-University: An LLM-based platform for instructional alignment to scientific classrooms
Created by
Haebom
저자
Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati
개요
AI-U는 강사의 강의 스타일에 맞춰 AI 기반 강의 콘텐츠 전달을 위한 유연한 프레임워크입니다. 강의 비디오, 노트, 교재를 사용하여 강사와 일치하는 응답을 생성하기 위해 검색 증강 생성(RAG)을 사용하여 대규모 언어 모델(LLM)을 미세 조정합니다. 대학원 수준 유한 요소법(FEM) 과정을 사례 연구로 사용하여 교육 데이터를 체계적으로 구성하고, 저순위 적응(LoRA)을 사용하여 오픈소스 LLM을 미세 조정하고, RAG 기반 합성을 통해 응답을 최적화하는 확장 가능한 파이프라인을 제시합니다. 코사인 유사도, LLM 기반 평가 및 전문가 검토를 결합한 평가는 강의 자료와의 높은 일치도를 보여줍니다. 관련 강의 자료의 특정 섹션과 오픈 액세스 비디오 강의의 타임 스탬프가 있는 인스턴스를 연결하여 추적성을 향상시키는 프로토타입 웹 애플리케이션(https://my-ai-university.com)도 개발했습니다. 전문가 모델은 테스트 사례의 86%에서 참조 자료와 더 높은 코사인 유사도를 보였으며, LLM 판정관 또한 전문가 모델이 기본 Llama 3.2 모델보다 약 4/5의 비율로 성능이 우수하다고 평가했습니다. AI-U는 AI 지원 교육에 대한 확장 가능한 접근 방식을 제공하여 고등 교육에서의 광범위한 채택을 위한 길을 열어줍니다. 본 프레임워크는 FEM 과정(공학 과학 분야의 박사 및 석사 과정 학생 교육에 중심적인 과목)을 중심으로 제시되었지만, 과학 연구 내용에 대한 LLM 미세 조정이라는 더 넓은 맥락의 특정 사례입니다.
시사점, 한계점
•
시사점:
◦
강사의 강의 스타일에 맞춘 AI 기반 강의 콘텐츠 전달 프레임워크 제공
◦
확장 가능한 교육 데이터 구성 및 LLM 미세 조정 파이프라인 제시
◦
RAG 기반 응답 최적화를 통한 강의 자료와의 높은 일치도 달성
◦
AI 생성 응답과 강의 자료의 특정 섹션 및 타임 스탬프 연결을 통한 추적성 향상
◦
고등 교육에서 AI 지원 교육의 광범위한 채택 가능성 제시
◦
과학 연구 내용에 대한 LLM 미세 조정의 가능성 제시
•
한계점:
◦
현재는 FEM 과정 하나만을 사례 연구로 사용, 다른 과목이나 분야로의 일반화 가능성에 대한 추가 연구 필요
