본 논문은 자동화된 소프트웨어 테스트 분야에서 여전히 명확하게 정의되지 않고 제대로 탐구되지 않은 몇 가지 기본 개념들을 다룬다. 특히, 강화 테스트(hardening test)와 포착 테스트(catching test)의 개념을 공식적으로 정의하고 그 특성을 조사한다. 강화 테스트는 미래의 회귀를 방지하기 위한 것이고, 포착 테스트는 코드 변경으로 인한 회귀 또는 새로운 기능의 결함을 포착하기 위한 것이다. 강화 테스트는 언제든지 생성될 수 있으며, 미래의 회귀를 포착할 때 포착 테스트가 될 수 있다. 또한, 새로운 결함이 운영 환경에 배포되기 전에 포착하기 위해 테스트를 '적시에' 생성하는 Catching 'Just-in-Time' (JiTTest) 챌린지를 정의하고 그 중요성을 설명한다. JiTTest 생성에 대한 해결책은 레거시 코드의 잠재적인 결함을 포착하는 데에도 활용될 수 있다. 강화 테스트, 포착 테스트 및 JiTTest에 대한 가능한 결과를 열거하고, 미해결 연구 문제, 배포 옵션 및 Meta에서 수행한 자동화된 LLM 기반 강화 테스트에 대한 초기 결과를 논의한다. 본 논문은 ACM International Conference on the Foundations of Software Engineering (FSE) 2025에서 저자들의 기조연설을 위한 자료로 작성되었다.
