본 논문은 대규모 언어 모델(LLM)의 수학 문제 해결 능력 향상을 위해, 잘못된 답변 데이터(error data)를 활용하는 새로운 방법인 LEMMA(Learning from Errors for Mathematical Advancement)를 제안합니다. 기존 연구들이 주로 정답 데이터의 질 향상에 집중한 것과 달리, LEMMA는 오류 데이터에 담긴 정보의 가치에 주목합니다. LEMMA는 모델이 생성한 잘못된 답변과 그 오류 지점, 그리고 이를 바로잡은 정답을 연결하는 데이터셋을 구성하여 LLM을 미세 조정합니다. 특히, 오류 유형을 체계적으로 분석하여 다양한 오류 데이터를 생성하고, 모델 자체가 생성 과정에서 스스로 오류를 수정할 수 있도록 학습시킵니다. 실험 결과, LEMMA는 다른 강력한 기준 모델들에 비해 성능 향상을 보였습니다.
