Towards Efficient Educational Chatbots: Benchmarking RAG Frameworks
Created by
- Haebom
Category
Empty
저자
Umar Ali Khan, Ekram Khan, Fiza Khan, Athar Ali Moinuddin
개요
본 논문은 대규모 언어 모델(LLMs)을 활용하여 인도 공학 입학 시험(GATE) 질문에 대한 답변과 해설을 제공하는 생성형 AI 기반 질문응답 프레임워크를 제안합니다. 최적의 임베딩 모델과 LLM을 선택하기 위해 광범위한 벤치마킹을 수행하였으며, 지연 시간, 정확성, 관련성 등의 기준을 바탕으로 프레임워크를 평가하고, 추가적으로 인간 평가를 통해 검증했습니다. 최첨단 임베딩 모델과 LLM을 통합한 챗봇을 개발하여 정확하고 맥락을 고려한 응답을 제공하며, 성능과 계산 효율성의 균형을 이루는 구성을 찾기 위해 엄격한 실험을 수행했습니다. 데이터 처리 및 모델링 과정에서 발생한 문제와 그 해결책도 논의하며, GATE Q/A 해설 작업에 검색 증강 생성(RAG)을 적용한 결과 검색 정확도와 응답 품질이 크게 향상됨을 보여줍니다. 본 연구는 효과적인 AI 기반 교육 도구 개발에 대한 실용적인 통찰력을 제공하며, 사용성 및 확장성 향상을 위한 미래 연구 방향을 제시합니다.
시사점, 한계점
•
시사점:
◦
LLMs를 활용한 효과적인 AI 기반 GATE 질문응답 시스템 개발 가능성을 제시.
◦
최적의 임베딩 모델 및 LLM 선택을 위한 벤치마킹 방법론 제시.
◦
RAG 기법 적용을 통한 검색 정확도 및 응답 품질 향상.
◦
AI 기반 교육 도구 개발에 대한 실용적인 통찰력 제공.
•
한계점:
◦
사용성 및 확장성에 대한 추가적인 연구 필요.
◦
데이터 처리 및 모델링 과정에서 발생하는 문제점에 대한 더욱 심도있는 분석 필요.
◦
특정 시험(GATE)에 특화된 모델이므로 일반화 가능성에 대한 추가 연구 필요.
