본 논문은 Transformer 기반 모델이 기본적인 논리 함수를 학습하는 데 어려움을 겪는다는 점을 탐구합니다. GPT-4, Claude, Gemini와 같은 모델들이 높은 성능을 보이지만, 기울기 기반 학습 방법의 제약으로 인해 간단한 논리 함수(예: 다수결 함수)조차 제대로 학습하지 못할 수 있음을 보여줍니다. 단순화된 Transformer 구조를 사용하여 다수결 함수 학습 실험을 진행하고, 다항 시간(poly(d)) 및 지수 시간(exp(Ω(d)))의 훈련 샘플 수에 따른 일반화 오차를 분석합니다. 분석 결과, 다항 시간의 기울기 쿼리 이후에도 일반화 오차가 여전히 크게 남아 있으며, d에 따라 기하급수적으로 증가함을 보입니다. 이는 Transformer 모델의 기본적인 논리적 추론 작업 학습에 대한 근본적인 최적화 문제를 강조하고, 이론적 한계에 대한 새로운 통찰력을 제공합니다.
