OpenClassGen: A Large-Scale Corpus of Real-World Python Classes for LLM Research

Fri, 10 Apr 2026 08:23:29 GMT

### 저자

Musfiqur Rahman, SayedHassan Khatoonabadi, Emad Shihab

### 💡 개요

기존 코드 생성 데이터셋의 규모 부족 문제를 해결하기 위해, 본 연구는 32만 개 이상의 실제 Python 클래스로 구성된 대규모 코퍼스인 OpenClassGen을 제안합니다. 이 코퍼스는 클래스 스켈레톤과 27가지 정적 코드 메트릭을 포함하며, 저장소 수준의 복잡한 맥락 없이도 완전한 생성 사양을 제공합니다. GPT-4o-mini, Claude-4-Sonnet, Qwen-3-Coder 세 가지 LLM을 대상으로 평가한 결과, 높은 의미론적 유사도를 보였지만 기능적 정확도는 상대적으로 낮았으며 모델 간 상당한 편차를 보여 LLM 성능 차이를 유의미하게 구분할 수 있었습니다.

### 🔑 시사점 및 한계

- LLM의 실제 코드 생성 능력 평가를 위한 대규모 실제 데이터셋의 필요성을 충족시킵니다.

- 클래스 단위의 자체 포함된 생성 사양을 제공하여 LLM 평가의 효율성과 재현성을 높입니다.

- LLM 간 성능 편차를 통해 각 모델의 강점과 약점을 분석하고 다양한 연구에 활용될 수 있는 기반을 마련합니다.

- 현재 데이터셋은 Python에 국한되어 있으며, 향후 다양한 프로그래밍 언어로 확장될 필요가 있습니다.

[PDF 보기](https://arxiv.org/pdf/2504.15564)