# Harden and Catch for Just-in-Time Assured LLM-Based Software Testing: Open Research Challenges

### 저자

Mark Harman, Peter O'Hearn, Shubho Sengupta

### 개요

본 논문은 자동화된 소프트웨어 테스트 분야에서 여전히 명확하게 정의되지 않고 제대로 탐구되지 않은 몇 가지 기본 개념들을 다룬다.  특히, 강화 테스트(hardening test)와 포착 테스트(catching test)의 개념을 공식적으로 정의하고 그 특성을 조사한다. 강화 테스트는 미래의 회귀를 방지하기 위한 것이고, 포착 테스트는 코드 변경으로 인한 회귀 또는 새로운 기능의 결함을 포착하기 위한 것이다.  강화 테스트는 언제든지 생성될 수 있으며, 미래의 회귀를 포착할 때 포착 테스트가 될 수 있다. 또한, 새로운 결함이 운영 환경에 배포되기 전에 포착하기 위해 테스트를 '적시에' 생성하는 Catching 'Just-in-Time' (JiTTest) 챌린지를 정의하고 그 중요성을 설명한다. JiTTest 생성에 대한 해결책은 레거시 코드의 잠재적인 결함을 포착하는 데에도 활용될 수 있다.  강화 테스트, 포착 테스트 및 JiTTest에 대한 가능한 결과를 열거하고, 미해결 연구 문제, 배포 옵션 및 Meta에서 수행한 자동화된 LLM 기반 강화 테스트에 대한 초기 결과를 논의한다.  본 논문은 ACM International Conference on the Foundations of Software Engineering (FSE) 2025에서 저자들의 기조연설을 위한 자료로 작성되었다.

### 시사점, 한계점

- **시사점:**

    - 소프트웨어 테스트의 기본 개념인 강화 테스트와 포착 테스트를 공식적으로 정의하고, 그 특성을 명확히 함으로써 자동화된 소프트웨어 테스트 연구에 새로운 방향을 제시한다.

    - Catching JiTTest 챌린지를 제시하여,  테스트 생성의 새로운 패러다임을 제시하고 레거시 코드의 결함 발견에도 활용 가능성을 보여준다.

    - LLM을 활용한 자동화된 강화 테스트에 대한 초기 결과를 제시하여, 실제 적용 가능성을 시사한다.

- **한계점:**

    - LLM 기반 자동화된 강화 테스트에 대한 초기 결과만 제시되었으며, 더욱 심도있는 연구와 실험이 필요하다.

    - Catching JiTTest 챌린지의 실제적인 적용 및 효율성에 대한 추가적인 연구가 필요하다.

    - 논문에서 제시된 개념들의 실제 소프트웨어 개발 환경에서의 적용 가능성 및 확장성에 대한 추가적인 검증이 필요하다.

[PDF 보기](https://arxiv.org/pdf/2504.16472)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).