Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning

Created by
  • Haebom

저자

Borong Zhang, Yuhao Zhang, Jiaming Ji, Yingshan Lei, Josef Dai, Yuanpei Chen, Yaodong Yang

개요

본 논문은 시각-언어-행동 모델(VLAs)을 일반적인 로봇 정책으로 활용하는 데 있어 안전성 문제를 해결하기 위한 통합 안전 접근 방식(ISA)을 제시합니다. ISA는 안전 요구 사항을 체계적으로 모델링하고, 다양한 위험 행동을 유도하여 안전 강화 학습을 통해 VLA 정책을 제약하며, 표적 평가를 통해 안전성을 엄격하게 보장합니다. 제약된 마르코프 의사 결정 과정(CMDP) 패러다임을 활용하여 안전 위험에 대한 최소-최대 관점에서 VLAs를 최적화합니다. 이를 통해 효과적인 안전-성능 절충, 강력한 안전 보장, 다양한 분포 외 섭동에 대한 견고한 일반화라는 세 가지 주요 특징을 달성합니다. 특히, 최첨단 방법 대비 83.58%의 안전성 향상과 동시에 작업 성능 향상 (+3.85%)을 보였습니다. 데이터, 모델 및 새롭게 제안된 벤치마크 환경은 https://pku-safevla.github.io 에서 확인할 수 있습니다.

시사점, 한계점

•
시사점:
◦
시각-언어-행동 모델(VLA)의 안전성 문제에 대한 효과적인 해결 방안 제시
◦
안전성과 성능 간의 효과적인 절충(83.58% 안전성 향상, +3.85% 성능 향상)
◦
긴 꼬리 위험 및 극단적인 실패 시나리오 완화를 통한 강력한 안전 보장
◦
다양한 분포 외 섭동에 대한 견고한 일반화 능력 확보
◦
새로운 벤치마크 환경 제공
•
한계점:
◦
제시된 방법의 일반화 능력에 대한 추가적인 검증 필요
◦
실제 로봇 시스템에 적용 시 발생할 수 있는 문제점에 대한 추가적인 연구 필요
◦
다양한 안전 위험 요소를 포괄적으로 고려하지 못할 가능성
◦
특정 환경 및 작업에 대한 최적화 가능성 존재. 범용성 확보를 위한 추가 연구 필요
👍
Made with Slashpage