On the Vulnerability of LLM/VLM-Controlled Robotics
Created by
- Haebom
Category
Empty
저자
Xiyang Wu, Souradip Chakraborty, Ruiqi Xian, Jing Liang, Tianrui Guan, Fuxiao Liu, Brian M. Sadler, Dinesh Manocha, Amrit Singh Bedi
개요
본 논문은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 통합한 로봇 시스템의 입력 모달리티 민감성으로 인한 취약성을 강조합니다. LLM/VLM 제어 로봇은 다양한 작업에서 인상적인 성능을 보이지만, 약간의 입력 변화에도 신뢰성이 떨어지는 문제가 아직 충분히 연구되지 않았습니다. 이러한 모델은 명령어나 지각 입력의 변화에 매우 민감하여, 오정렬 문제를 일으켜 실제 세계에서 심각한 결과를 초래하는 실행 실패로 이어질 수 있습니다. 본 논문에서는 LLM/VLM 제어 로봇 시스템 내에서 오정렬로 인한 취약성을 분석하고, 입력 모달리티의 변화로 인한 고장 모드에 대한 수학적 공식을 제시합니다. 또한, 이러한 취약성을 노출시키기 위한 경험적 섭동 전략을 제안하고, 여러 로봇 조작 작업에 대한 실험을 통해 그 효과를 검증합니다. 실험 결과, 간단한 입력 섭동은 두 가지 대표적인 LLM/VLM 제어 로봇 시스템에서 작업 실행 성공률을 각각 22.2%와 14.6% 감소시키는 것으로 나타났습니다. 이러한 결과는 입력 모달리티의 강건성의 중요성을 강조하고, 고급 LLM/VLM 제어 로봇 시스템의 안전하고 신뢰할 수 있는 배포를 보장하기 위한 추가 연구를 촉구합니다.
시사점, 한계점
•
시사점:
◦
LLM/VLM 기반 로봇 시스템의 입력 모달리티 민감성으로 인한 취약성을 밝힘.
◦
입력 섭동을 통한 취약성 노출 및 실험적 검증 방법 제시.
◦
LLM/VLM 제어 로봇 시스템의 안전하고 신뢰할 수 있는 배포를 위한 추가 연구 필요성 제기.
◦
간단한 입력 변화가 로봇 시스템의 성능에 미치는 심각한 영향을 수치적으로 제시.
•
한계점:
◦
제한된 수의 로봇 조작 작업에 대한 실험 결과 제시.
◦
다양한 유형의 LLM/VLM 및 로봇 시스템에 대한 일반화 가능성 제한.
◦
제시된 섭동 전략의 실제 세계 적용 가능성에 대한 추가 연구 필요.
◦
오정렬 문제에 대한 더욱 심층적인 분석 및 해결 방안 부재.
