ConQuer: A Framework for Concept-Based Quiz Generation
Created by
Haebom
Category
Empty
저자
Yicheng Fu, Zikui Wang, Liuxin Yang, Meiqing Huo, Zhongdongming Dai
개요
ConQuer는 외부 지식 소스를 활용하는 개념 기반 퀴즈 생성 프레임워크입니다. LLM의 효율적인 퀴즈 생성 능력에도 불구하고, 생성된 퀴즈의 질적 문제점을 해결하기 위해 고안되었습니다. LLM을 평가자로 활용하여 포괄적인 평가 기준을 적용한 결과, 기존 퀴즈 세트 대비 평가 점수 4.8% 향상 및 짝 비교에서 77.52% 승률을 달성했습니다. 추가적인 ablation study를 통해 각 구성 요소의 효과를 입증했습니다. 소스 코드는 깃허브에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 퀴즈 생성의 질적 향상을 위한 새로운 프레임워크 제시
◦
외부 지식 소스 활용을 통한 퀴즈 생성의 정확도 및 신뢰도 향상
◦
LLM을 활용한 객관적인 퀴즈 평가 방법 제시
◦
개념 기반 퀴즈 생성을 통한 학습 효과 증대 가능성 제시
•
한계점:
◦
현재 평가는 LLM을 기반으로 이루어져, 인간 전문가의 평가와의 차이점에 대한 추가 연구 필요
