본 연구는 GPT-4o, DeepSeek-V3, Gemini-2.0 세 가지 주요 대규모 언어 모델(LLM)을 GSM8K, MATH500, UNSW 세 가지 수학 데이터셋에 대해 비교 분석했습니다. Structured Chain-of-Thought (SCoT) 프레임워크를 기반으로 최종 답변 정확성, 단계 완성도, 단계 타당성, 중간 계산 정확성, 문제 이해력 등 5가지 차원에서 평가했습니다. 그 결과 GPT-4o는 모든 데이터셋에서 가장 안정적이고 일관된 성능을 보였으며, 특히 UNSW 데이터셋의 고난이도 문제에서 뛰어난 성능을 보였습니다. DeepSeek-V3는 최적화와 같은 잘 구조화된 영역에서 경쟁력 있는 성능을 보였지만, 통계적 추론 작업에서는 정확도가 불안정했습니다. Gemini-2.0은 잘 구조화된 문제에서 강력한 언어 이해력과 명확성을 보였지만, 다단계 추론 및 기호 논리에서는 성능이 저조했습니다. 오류 분석 결과, GPT-4o는 설명이나 정밀도가 부족한 경우가 있었고, DeepSeek-V3는 중간 단계를 생략하는 경우가 있었으며, Gemini-2.0은 고차원 수학적 추론에서 유연성이 부족한 것으로 나타났습니다.
