클라우드 네이티브 애플리케이션의 품질 보증에서 RESTful API 테스트의 중요성이 증가함에 따라, 본 논문은 LLM 기반 및 프로그래밍된 에이전트를 결합한 다중 에이전트 시스템인 MASTEST를 개발했다. MASTEST는 OpenAPI Swagger 형식의 API 명세로부터 유닛 및 시스템 테스트 시나리오 생성, Pytest 테스트 스크립트 생성, 웹 서비스와 상호작용하는 테스트 스크립트 실행, 테스트 정확성 판단 및 테스트 커버리지 계산에 이르기까지 API 테스트의 전체 워크플로우를 다룬다. 또한, 테스트 활동의 품질을 보장하기 위해 LLM이 생성한 테스트 아티팩트를 검토하고 수정하는 데 인간 테스터의 참여를 지원한다. GPT-4o 및 DeepSeek V3.1 Reasoner를 사용하여 5개의 공개 API에 대해 MASTEST 시스템을 평가했으며, 유닛 및 시스템 테스트 시나리오 커버리지, API operation coverage, 데이터 유형 정확성, 상태 코드 커버리지, 스크립트 구문 정확성, 버그 탐지 능력 및 LLM 생성 테스트 시나리오 및 스크립트의 사용성을 포함한 다양한 지표를 통해 LLM의 성능을 측정했다. 실험 결과, DeepSeek와 GPT-4o 모두 높은 전반적인 성능을 보였으며, DeepSeek는 데이터 유형 정확성 및 상태 코드 탐지에서, GPT-4o는 API operation coverage에서 뛰어난 성능을 보였다. 두 모델 모두 LLM이 생성한 테스트 스크립트의 구문 정확성은 100%였으며, 의미적 정확성을 위해 최소한의 수동 편집만 필요했다.
