본 논문은 대규모 언어 모델(LLM)의 수학 문제 해결 능력 향상을 위해 오류 데이터를 활용하는 새로운 방법인 LEMMA(Learning from Errors for Mathematical Advancement)를 제안합니다. 기존 연구들이 정답 데이터의 질 향상에 초점을 맞춘 것과 달리, LEMMA는 오류 데이터에 내재된 가치를 활용하여 모델의 반성 능력을 향상시킵니다. LEMMA는 오류가 포함된 풀이 과정과 그에 대한 정답 풀이 과정을 연결하는 데이터를 생성하여 모델을 미세 조정합니다. 특히, 모델이 생성한 오류 유형을 체계적으로 분석하여 다양하고 대표적인 오류 데이터를 수집하고, 오류 수정 또는 새로운 풀이 생성을 통해 정답을 얻습니다. 모델 인식 기반의 부드러운 연결 과정을 통해 오류 풀이를 정답 풀이로 전환하며, 외부 평가 모델에 의존하지 않고 모델이 자율적으로 오류를 수정할 수 있도록 합니다. 실험 결과, LEMMA는 기존의 강력한 기준 모델들보다 성능이 크게 향상됨을 보여줍니다.
