Sign In

Harnessing the Power of Large Language Models for Software Testing Education: A Focus on ISTQB Syllabus

Created by
  • Haebom
Category
Empty

저자

Tuan-Phong Ngo, Bao-Ngoc Duong, Tuan-Anh Hoang, Joshua Dwight, Ushik Shrestha Khwakhali

개요

본 논문은 소프트웨어 테스트 교육의 중요한 부분인 ISTQB(International Software Testing Qualifications Board) 인증 프레임워크에 생성형 인공지능(LLM)을 활용하는 방법을 탐구하고 평가합니다. LLM이 ISTQB 기반 학습을 어떻게 보완할 수 있는지 연구하며, 10년 이상 분량의 28개 샘플 시험과 1,145개 질문으로 구성된 ISTQB 정렬 데이터셋을 생성하고, 도메인 최적화된 프롬프트를 개발하여 LLM의 정확성과 설명 품질을 향상시켰습니다. 또한 최신 LLM을 해당 데이터셋에 대해 체계적으로 평가하고, 소프트웨어 테스트 교육에 LLM을 통합하기 위한 실행 가능한 통찰력과 권장 사항을 제시합니다.

시사점, 한계점

시사점:
LLM을 활용하여 ISTQB 인증 준비를 지원할 수 있는 가능성을 제시합니다.
소프트웨어 테스트 교육에 LLM을 광범위하게 적용할 수 있는 기반을 마련합니다.
ISTQB 기반 학습에서 LLM의 정확성과 설명 품질을 향상시키는 도메인 최적화 프롬프트를 개발했습니다.
10년 이상 분량의 ISTQB 정렬 데이터셋을 구축하여 연구의 기반을 다졌습니다.
한계점:
구체적인 LLM 모델의 성능 및 비교 분석에 대한 정보가 부족할 수 있습니다.
실제 교육 환경에서의 적용 및 효과에 대한 검증이 필요합니다.
LLM의 한계점(예: 편향, 부정확한 정보)에 대한 고려가 필요합니다.
연구 범위가 ISTQB 프레임워크에 제한되어, 다른 소프트웨어 테스트 방법론과의 관련성은 제한적일 수 있습니다.
👍