본 논문은 대규모 언어 모델(LLM)이 생성한 코드의 재현성을 자동 평가하고 개선하는 Analyst-Inspector 프레임워크인 AIRepr을 제시합니다. 데이터 분석 작업이 여러 유효한 솔루션을 가질 수 있다는 점을 고려하여, AIRepr은 코드 생성의 기반이 되는 워크플로우, 즉 논리적 계획을 평가합니다. 통계적 원리에 기반한 AIRepr은 두 가지 새로운 재현성 향상 프롬프트 전략을 도입하고, 15개의 분석가-검사자 LLM 쌍과 세 개의 공개 벤치마크에서 1,032개의 작업에 대해 표준 프롬프트와 비교하여 성능을 평가합니다. 결과적으로, 재현성이 높은 워크플로우가 더 정확한 분석 결과를 도출하며, 재현성 향상 프롬프트가 두 지표 모두를 크게 개선하는 것을 확인했습니다.
