The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark

작성자

Haebom

카테고리

Empty

저자

Hao Liu, Jicheng Liu

💡 개요

본 논문은 복잡한 매듭 다이어그램을 이해하고 추론하는 비전-언어 모델(VLM)의 능력을 평가하기 위한 새로운 벤치마크인 KnotBench를 제안합니다. 85만 개 이상의 이미지와 14가지 태스크를 통해, VLM이 매듭의 시각적 정보를 인식하지만 그 구조를 기반으로 추론하는 데는 어려움을 겪는다는 것을 보여줍니다. 현재 최고 성능의 모델들도 무작위 수준에 머무르거나 낮은 정확도를 보이는 등, VLM의 인지-연산 간극을 드러냅니다.

🔑 시사점 및 한계

•

현재 VLM은 매듭 다이어그램의 시각적 특징은 파악하지만, 이를 바탕으로 매듭의 움직임을 시뮬레이션하거나 추론하는 데 필요한 능력은 부족합니다.

•

'사고 과정'을 활성화하는 방식이 VLM의 정확도를 향상시키기는 하지만, 여전히 무작위 수준을 크게 벗어나지 못하는 태스크가 많아 VLM의 근본적인 추론 능력 향상이 필요함을 시사합니다.

•

본 연구는 VLM의 매듭 추론 능력을 평가하는 중요한 벤치마크를 제공하지만, 64K 출력 토큰 예산이라는 제한과 실제 매듭 이론의 복잡성을 완전히 반영하지 못할 수 있다는 한계가 있습니다.

PDF 보기

Made with Slashpage