Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluation of LLMs for mathematical problem solving

Created by
  • Haebom

저자

Ruonan Wang, Runxi Wang, Yunwen Shen, Chengfeng Wu, Qinglin Zhou, Rohitash Chandra

개요

본 논문은 GPT-4o, DeepSeek-V3, Gemini-2.0 세 가지 주요 대규모 언어 모델(LLM)의 수학 문제 해결 능력을 GSM8K, MATH500, UNSW 세 가지 수학 데이터셋을 사용하여 비교 분석했습니다. Structured Chain-of-Thought (SCoT) 프레임워크에 기반한 5가지 차원(최종 답변 정확성, 단계 완성도, 단계 타당성, 중간 계산 정확성, 문제 이해)의 평가 방식을 사용하여 각 모델의 성능을 평가했습니다. 그 결과, GPT-4o는 모든 데이터셋에서 가장 안정적이고 일관된 성능을 보였으며 특히 UNSW 데이터셋의 고난도 문제에서 뛰어난 성능을 나타냈습니다. DeepSeek-V3는 최적화와 같은 잘 정의된 영역에서 경쟁력 있는 성능을 보였지만, 통계적 추론 작업에서는 정확도의 변동이 심했습니다. Gemini-2.0은 잘 정의된 문제에서 강력한 언어 이해력과 명확성을 보였지만, 다단계 추론 및 기호 논리에서는 성능이 저조했습니다. 오류 분석을 통해 GPT-4o는 설명이나 정확성이 부족한 경우가 있고, DeepSeek-V3는 중간 단계를 생략하는 경우가 있으며, Gemini-2.0은 고차원 수학적 추론에서 유연성이 떨어지는 것으로 나타났습니다.

시사점, 한계점

시사점:
GPT-4o는 다양한 수학 문제 해결에서 우수한 성능을 보임. 특히 고난도 문제에 강점을 보임.
각 LLM의 강점과 약점을 명확하게 파악하여 향후 모델 개발에 활용 가능.
SCoT 프레임워크 기반의 다차원 평가 방식은 LLM의 수학적 추론 능력 평가에 유용한 지표 제공.
한계점:
본 연구는 세 가지 LLM에 국한되어 일반화에 제한이 있을 수 있음.
오류 분석 결과는 각 모델의 특정 약점을 지적하지만, 근본적인 원인에 대한 심층적인 분석은 부족함.
더욱 다양하고 복잡한 수학 문제를 포함하는 데이터셋을 사용하여 추가 연구가 필요함.
각 모델의 설명의 충분성, 중간 단계의 생략, 고차원 추론의 유연성 등 개선이 필요한 부분이 확인됨.
👍