VLAD-Grasp는 대규모 전문가 어노테이션에 의존하거나 새로운 객체를 처리하기 위해 재훈련이 필요한 기존 방법의 한계를 극복하기 위해 제안된 시각-언어 모델 기반의 제로샷 그립 감지 접근 방식입니다. 이 방법은 단일 RGB-D 이미지에서 시작하여 (1) 대규모 시각-언어 모델을 사용하여 객체를 관통하는 직선 막대(antipodal grasp)를 나타내는 목표 이미지를 생성하고, (2) 이 이미지를 3D로 변환하기 위해 깊이 및 분할을 예측하며, (3) 생성된 객체 점 구름과 관찰된 객체 점 구름을 주성분 분석 및 비대응 최적화를 통해 정렬하여 실행 가능한 grasp pose를 복구합니다. VLAD-Grasp는 학습 없이 Cornell 및 Jacquard 데이터세트에서 기존의 지도 학습 모델과 동등하거나 더 나은 성능을 달성하며, Franka Research 3 로봇에서 새로운 실제 객체에 대한 제로샷 일반화를 시연하여 로봇 조작에 대한 강력한 사전 지식으로서의 시각-언어 기반 모델의 잠재력을 보여줍니다.
