Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FuzzAug: Data Augmentation by Coverage-guided Fuzzing for Neural Test Generation

Created by
  • Haebom

저자

Yifeng He, Jicheng Wang, Yuyang Rong, Hao Chen

개요

본 논문은 신뢰할 수 있는 소프트웨어 개발에 필수적인 소프트웨어 테스트에서, 수동으로 테스트 케이스를 생성하는 높은 비용을 고려하여 대규모 언어 모델을 활용한 자동화된 테스트 케이스 생성 방법이 주목받고 있음을 배경으로 합니다. 기존의 퍼징과 같은 자동 테스트 방법보다 유지보수가 용이한 의미있는 테스트를 생성하는 신경망 접근 방식에 대해 논의합니다. 하지만 기존 데이터셋은 특히 최신 언어에 대한 단위 테스트의 다양성과 양이 제한적이라는 문제점을 지적합니다. 이에 본 논문에서는 퍼징의 장점을 대규모 언어 모델에 도입하여 유효한 테스트 의미를 도입하고 다양한 적용범위를 가진 입력을 제공하는 새로운 데이터 증강 기법인 FuzzAug를 제시합니다. FuzzAug는 훈련 데이터셋의 크기를 두 배로 늘려 기존 방식보다 성능을 크게 향상시키며, 동적 소프트웨어 분석의 사전 지식을 신경망 테스트 생성에 도입하여 성능을 향상시킬 수 있는 가능성을 보여줍니다.

시사점, 한계점

시사점:
퍼징 기법을 활용한 새로운 데이터 증강 기법 FuzzAug 제시를 통해 대규모 언어 모델 기반의 신경망 테스트 생성 성능 향상 가능성을 제시.
동적 소프트웨어 분석의 사전 지식을 활용하여 신경망 테스트 생성의 질적 향상 가능성을 보여줌.
기존 데이터셋의 한계를 극복하고 더욱 다양하고 많은 단위 테스트를 생성할 수 있는 가능성을 제시.
한계점:
FuzzAug의 성능 향상이 특정 언어나 특정 유형의 소프트웨어에만 국한될 가능성.
FuzzAug의 일반화 성능 및 다양한 소프트웨어 시스템에 대한 적용 가능성에 대한 추가 연구 필요.
퍼징 기법과의 통합 과정에서 발생할 수 있는 추가적인 비용 또는 복잡성에 대한 고려 필요.
👍