Haochen Huang, Jiahuan Pei, Mohammad Aliannejadi, Xin Sun, Moonisa Ahsan, Chuang Yu, Zhaochun Ren, Pablo Cesar, Junxiao Wang
개요
본 논문은 시각 언어 모델(VLMs)의 다중 모드 조립 지시 이해 및 따르기 능력, 특히 정교한 공간 추론과 정확한 객체 상태 감지가 필요한 경우의 어려움을 다룹니다. 실제 레고 조립 논리와 프로그래밍 방식으로 생성된 다중 모드 장면을 결합한 하이브리드 벤치마크인 LEGO Co-builder를 제시합니다. 이 데이터셋은 단계별 시각적 상태와 절차적 지침을 포착하여 지침 따르기, 객체 감지 및 상태 감지에 대한 제어된 평가를 가능하게 합니다. GPT-4o, Gemini, Qwen-VL과 같은 주요 VLMs를 제로샷 및 미세 조정 설정에서 통합 프레임워크를 통해 평가합니다. 결과는 GPT-4o와 같은 고급 모델조차도 상태 감지에서 최대 F1 점수가 40.54%에 불과하여 정교한 시각적 이해에 대한 차이점을 보여주는 정교한 조립 작업에서 어려움을 겪는다는 것을 보여줍니다. 미래의 다중 모드 조립 보조 연구를 지원하기 위해 벤치마크, 코드베이스 및 생성 파이프라인을 공개합니다.
시사점, 한계점
•
시사점:
◦
실제 세계 작업 흐름에 기반한 다중 모드 조립 보조 시스템 연구를 위한 새로운 벤치마크(LEGO Co-builder) 제공.
◦
최첨단 VLMs의 정교한 시각적 이해 및 공간 추론 능력의 한계를 밝힘.
◦
정교한 조립 작업에서 VLMs 성능 향상을 위한 연구 방향 제시.
•
한계점:
◦
현재 벤치마크의 F1 점수가 40.54%로 상대적으로 낮아, VLMs의 성능 개선 여지가 큼.
◦
LEGO 조립에 특화된 벤치마크이므로, 다른 다중 모드 작업으로의 일반화 가능성에 대한 추가 연구 필요.
