Sandeep Hans, Atul Kumar, Toshikai Yasue, Kouichi Ono, Saravanan Krishnan, Devika Sondhi, Fumiko Satoh, Gerald Mitchell, Sachin Kumar, Diptikalyan Saha
개요
본 논문은 IBM Watsonx Code Assistant for Z (WCA4Z)를 위한 테스트 프레임워크 개발 경험을 공유한다. WCA4Z는 COBOL을 Java로 변환하는 산업용 도구이며, 본 프레임워크는 변환된 Java 코드의 기능적 동등성을 원래 COBOL 프로그램과 자동으로 테스트한다. 기존의 COBOL 코드를 Java 또는 Python과 같은 현대 언어로 변환하는 LLM 기반 자동 변환의 결과는 신뢰할 수 없다는 점을 고려하여, 심볼릭 실행을 이용하여 COBOL을 위한 단위 테스트를 생성하고, 외부 호출을 모킹하여 JUnit 테스트로 변환하여 의미적 동등성을 검증한다. 이는 오류 탐지 및 수정뿐 아니라 AI 모델 개선에도 기여한다.
시사점, 한계점
•
시사점:
◦
LLM 기반 코드 변환 도구의 신뢰성 검증을 위한 효과적인 테스트 프레임워크 제시
◦
심볼릭 실행 기반의 자동화된 테스트 생성을 통한 효율성 증대
◦
테스트 결과를 활용한 AI 모델 개선 가능성 제시
◦
산업 현장의 COBOL to Java 변환 과정에서 발생하는 문제 해결에 기여
•
한계점:
◦
WCA4Z 특화된 프레임워크로, 다른 LLM 기반 코드 변환 도구에 대한 일반화 가능성은 제한적일 수 있음
