Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

OG-VLA: Orthographic Image Generation for 3D-Aware Vision-Language Action Model

Created by
  • Haebom
Category
Empty

저자

Ishika Singh, Ankit Goyal, Stan Birchfield, Dieter Fox, Animesh Garg, Valts Blukis

OG-VLA: 3D-Aware Vision Language Action Models for Robot Manipulation

개요

본 논문은 Vision Language Action 모델(VLA)의 일반화 강점과 3D-aware 정책의 견고함을 결합한 새로운 아키텍처 및 학습 프레임워크인 OG-VLA를 소개한다. 자연어 지시와 하나 이상의 RGBD 관찰을 준정적 로봇 동작에 매핑하는 문제를 해결한다. OG-VLA는 언어 및 비전 기반 모델에 내장된 사전 지식을 활용하여 3D 인식 키프레임 정책의 일반화를 개선한다. 입력 관찰을 점 구름으로 투영하고, 정규 직교 뷰에서 렌더링하여 입력 뷰 불변성과 입력 및 출력 공간 간의 일관성을 보장한다. 이러한 정규 뷰는 비전 백본, 대규모 언어 모델(LLM) 및 이미지 확산 모델을 사용하여 처리되어, 최종 이펙터의 다음 위치와 방향을 인코딩하는 이미지를 생성한다.

시사점, 한계점

•
시사점:
◦
보이지 않는 환경에 대한 일반화 성능 향상 (40% 이상 상대적 개선).
◦
기존 환경에서도 강력한 성능 유지.
◦
3~5번의 시연을 통한 실제 환경 적응 및 강력한 일반화.
•
한계점:
◦
구체적인 한계점은 논문 요약에서 명시적으로 언급되지 않음. (논문 원문을 참고해야 함.)
👍
Made with Slashpage