본 논문은 인공지능(AI)과 계산 문제 해결의 기본 요소인 수학적 추론 및 최적화에 대해 다룹니다. 최근 대규모 언어 모델(LLM)의 발전으로 AI 기반 수학적 추론, 정리 증명 및 최적화 기술이 크게 향상되었습니다. 본 논문에서는 초기 통계적 학습 접근 방식부터 최신 심층 학습 및 Transformer 기반 방법론까지 AI에서 수학적 문제 해결의 발전 과정을 살펴봅니다. 사칙연산, 복잡한 추론, 정리 증명 및 구조적 기호 계산에서 사전 훈련된 언어 모델 및 LLM의 기능을 검토하고, LLM이 혼합 정수 프로그래밍, 선형 2차 제어 및 다중 에이전트 최적화 전략을 포함한 최적화 및 제어 프레임워크와 통합되는 방식에 중점을 둡니다. 또한 LLM이 문제 공식화, 제약 조건 생성 및 휴리스틱 검색을 지원하여 이론적 추론과 실제 응용 프로그램을 연결하는 방식을 조사합니다. Chain-of-Thought 추론, 지시 조정 및 도구 증강 방법과 같이 LLM의 문제 해결 성능을 향상시키는 향상 기법에 대해서도 논의합니다. 하지만 LLM은 수치 정확도, 논리적 일관성 및 증명 검증에 어려움을 겪습니다. 하이브리드 신경 기호 추론, 구조화된 프롬프트 엔지니어링 및 다단계 자기 수정과 같은 새로운 동향은 이러한 한계를 극복하기 위한 목표입니다. 미래의 연구는 해석 가능성, 도메인별 솔버와의 통합 및 AI 기반 의사 결정의 강력성 향상에 초점을 맞춰야 합니다. 본 논문은 엔지니어링, 금융 및 과학 연구 전반에 걸쳐 응용 프로그램과 함께 LLM을 사용한 현재의 상황과 수학적 추론 및 최적화의 미래 방향에 대한 포괄적인 검토를 제공합니다.
