Vision-Language-Action (VLA) 모델의 적대적 견고성을 연구하여, 현실적인 다중 모달 및 블랙 박스 조건에서 VLA 모델의 취약점을 분석. VLA-Fool은 텍스트, 시각, 그리고 교차 모달 정렬 공격을 포함하는 포괄적인 다중 모달 적대적 공격 연구. LIBERO 벤치마크를 사용한 실험 결과, 미세한 다중 모달 방해에도 VLA 모델의 행동이 크게 변동됨을 확인.
시사점, 한계점
•
다중 모달 적대적 공격 연구의 중요성 강조: VLA 모델의 견고성 부족을 보여주며, 현실적인 환경에서의 신뢰성 확보 필요성을 제기.
•
세 가지 유형의 공격 제시: 텍스트, 시각, 그리고 교차 모달 오정렬 공격을 통해 VLA 모델의 취약점을 다각도로 분석.
•
VLA-aware 의미 공간 기반의 프롬프트 프레임워크 개발: 의미적으로 유도된 프롬프트를 사용하여 공격 효과를 극대화.
•
실험 결과, 미세한 방해에도 모델의 성능 저하: VLA 모델의 취약성을 입증하고, 견고성 개선의 필요성을 제시.
