본 연구는 추상적 시각적 추론 문제에서 대규모 언어 모델(LLM)의 성능을 체계적으로 평가하는 것을 목표로 한다. RAVEN-FAIR 데이터셋에서 4개의 LLM 모델(GPT-4.1-Mini, Claude-3.5-Haiku, Gemini-1.5-Flash, Llama-3.3-70b)과 4개의 다른 추론 아키텍처(single-shot, embedding-controlled repetition, self-reflection, multi-agent)를 활용하여 실험을 진행했다. SSIM 및 LPIPS 메트릭을 사용하여 3단계 프로세스(JSON 추출, LLM 추론, 도구 기능)를 통해 생성된 시각적 응답을 평가하고, Chain-of-Thought 점수와 오류 유형(의미론적 환각, 숫자 오해)을 분석했다. GPT-4.1-Mini가 모든 아키텍처에서 일관되게 가장 높은 전체 정확도를 달성하여 강력한 추론 능력을 보여주었다.
