AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL
Created by
- Haebom
Category
Empty
저자
Tyler Stennett, Myeongsoo Kim, Saurabh Sinha, Alessandro Orso
개요
AutoRestTest는 REST API의 종합적인 테스트를 위해 SPDG(Semantic Property Dependency Graph), MARL(Multi-Agent Reinforcement Learning), 그리고 LLMs(Large Language Models)를 통합한 새로운 도구입니다. 방대한 검색 공간을 가진 REST API의 특성을 고려하여, 5개의 specialized agent(operation, parameter, value, dependency, header)를 사용하여 연산 의존성을 파악하고, 연산 시퀀스, 파라미터 조합 및 값을 생성합니다. 사용자 친화적인 명령줄 인터페이스를 통해 테스트를 구성하고 모니터링하며, 성공적인 연산 수, 감지된 고유 서버 오류, 경과 시간 등을 확인할 수 있습니다. 테스트 완료 후에는 감지된 오류와 실행된 연산을 강조하는 자세한 보고서를 생성합니다.
시사점, 한계점
•
시사점:
◦
기존 REST API 테스트 도구의 낮은 코드 커버리지 문제 해결에 기여할 수 있음.
◦
SPDG, MARL, LLM을 결합하여 효율적인 API 테스트 자동화 가능성 제시.
◦
사용자 친화적인 인터페이스를 통해 테스트 진행 및 결과 확인 용이.
◦
상세한 테스트 보고서를 통해 문제점 파악 및 수정 용이.
•
한계점:
◦
아직 preliminary findings 단계로, 실제 다양한 API에 대한 광범위한 테스트 결과가 부족함.
◦
도구의 성능 및 효율성에 대한 정량적인 평가가 추가적으로 필요함.
◦
LLM의 성능에 대한 의존성이 존재하며, LLM의 한계가 AutoRestTest의 성능에 영향을 미칠 수 있음.
◦
SPDG의 정확성이 테스트 결과에 직접적인 영향을 미치므로, SPDG 생성 및 관리에 대한 추가적인 연구가 필요함.
