본 논문은 실제 세계의 클래스 수준 소프트웨어 구조의 복잡성을 포착하지 못하는 기존 벤치마크의 한계를 해결하기 위해, 13,174개의 실제 오픈소스 프로젝트에서 수집한 대규모 Python 클래스 수준 데이터셋을 제시합니다. 이 데이터셋은 84만 개 이상의 클래스 스켈레톤(클래스 및 메서드 시그니처, 관련 docstrings 포함)을 포함하며, 실제 소프트웨어 개발 시나리오에 중요한 구조적 및 맥락적 의존성을 유지하고 정적 코드 메트릭을 추가하여 후속 분석을 지원합니다. GPT-4를 사용하여 추출된 클래스 스켈레톤을 프롬프트로 하여 전체 클래스 구현을 생성하는 실험을 통해, LLM이 생성한 클래스가 사람이 작성한 클래스와 강력한 어휘적 및 구조적 유사성을 보임을 확인하였습니다 (ROUGE@L 0.80, BLEU 0.59, TSED 0.73). 이는 실제 클래스 스켈레톤에서 파생된 잘 구성된 프롬프트가 클래스 수준 코드 생성에서 LLM 성능을 크게 향상시킨다는 것을 보여줍니다. 본 데이터셋은 실제 소프트웨어 엔지니어링 환경에서 LLM의 벤치마킹, 훈련 및 개선을 위한 귀중한 자원이 될 것입니다.
