본 논문은 대규모 다중모드 모델(LMM)의 기하학적 패턴 추론 능력을 평가하기 위한 새로운 벤치마크인 TurtleBench를 제시합니다. TurtleBench는 거북이 기하학 개념을 기반으로 하며, 시각적 예시, 텍스트 지시 또는 둘 다를 입력으로 받아 정확한 코드를 출력하는 LMM의 능력을 평가합니다. 실험 결과, 최첨단 LMM들이 TurtleBench의 과제에서 상당한 어려움을 겪는다는 것을 보여주며, GPT-4o의 경우 가장 간단한 과제에서도 19%의 정확도만 달성하고, 몇 번의 예시 학습으로도 성능 향상이 미미함($<2$)을 확인했습니다. 이는 인간과 AI 간의 직관적인 시각적 기하학적 이해 능력의 차이를 강조하며, 시각적 이해와 코드 생성 능력 통합 평가를 위한 벤치마크로서 향후 연구의 방향을 제시합니다.
