본 논문은 GPT-4, Meta-LLAMA, Claude, Gemini 등 여러 대규모 언어 모델을 활용하여 복잡한 박사급 확률 문제를 생성하고 해결하는 새로운 접근 방식을 제시합니다. 기존의 정답 기반 평가 방식 대신, 다양한 모델 간의 합의 수준을 통해 답변의 신뢰성과 질문의 질을 평가합니다. 카이제곱 검정, Fleiss' Kappa 계수, 신뢰구간 계산 등의 통계적 평가를 통해 모델 간 일치도와 정확도를 분석합니다. 분석 결과, Claude와 Gemini는 더 명확하고 모호하지 않은 질문을 생성하는 경향이 있으며, LLAMA는 일관성이 떨어지는 질문을 생성하는 것으로 나타났습니다. 이는 다중 모델 협업 전략이 답변의 신뢰성을 높이고, 정답이 없는 상황에서도 질문의 질을 평가하고 개선하는 데 효과적임을 시사합니다. 본 연구는 이종 언어 모델 간의 조정된 상호 작용을 통한 AI 기반 추론 프로세스 개선에 대한 실행 가능한 통찰력을 제공합니다.
