본 논문은 최첨단 생성 모델(GPT-4o, Llama3 등)의 계산적 사고 능력을 초등학생 수준의 프로그래밍 관련 표준화된 시험을 통해 평가한 연구이다. 기존 생성 모델들이 경쟁적 벤치마크에서는 인간 수준의 성능을 보이지만, 단순한 문제 해결 과제에서는 어려움을 겪는다는 점을 지적하며, 초등학생 수준의 시각적 프로그래밍 과제를 포함하는 새로운 벤치마크를 제시한다. 실험 결과, 최첨단 모델들은 평균적인 학생의 성적에 미치지 못하는 것으로 나타났다. 이를 개선하기 위해, 다양한 기술 수준(시각적 요소 인식부터 다지선다형 퀴즈, 종합적 과제까지)을 포괄하는 합성 데이터를 생성하는 새로운 방법론을 제안하고, 해당 데이터를 이용한 미세 조정을 통해 모델 성능 향상을 보였다. 본 논문에서는 합성 데이터 내 다양한 상징적 정보가 모델 성능 향상에 기여하는 방식을 보여주며, 향후 연구를 위한 구현 및 데이터셋 공개를 약속한다.
