본 논문은 사전 훈련된 시각-언어 모델(VLM)을 활용하여 효과적인 로봇 조작 학습을 위한 새로운 3D 시각-언어-행동(VLA) 모델인 BridgeVLA를 소개합니다. BridgeVLA는 3D 입력을 여러 2D 이미지로 투영하고 2D 히트맵을 사용하여 동작을 예측하여 VLM 백본과의 정렬을 보장하고, 일관된 2D 이미지 공간 내에서 입력과 출력 공간을 통합합니다. 또한, 다운스트림 정책 학습 전에 2D 히트맵을 예측할 수 있도록 VLM 백본을 갖추는 확장 가능한 사전 훈련 방법을 제안합니다. 실험 결과, BridgeVLA는 세 개의 시뮬레이션 벤치마크에서 최첨단 기준선을 능가하며, RLBench에서 평균 성공률을 88.2%로, COLOSSEUM에서 64.0%로, GemBench에서 다른 모든 기준선을 능가하는 성능을 보였습니다. 실제 로봇 실험에서도 BridgeVLA는 최첨단 기준선보다 32% 더 높은 성능을 보였으며, 시각적 방해 및 새로운 지침을 포함한 여러 분포 외 설정에서 강력한 일반화 성능을 보였습니다.
