본 논문은 대규모 시각 언어 모델(Large Vision and Language Models)의 높은 추론 지연 시간으로 인해 기존의 로봇 안전 개입 방법들이 수동으로 정의된 개입 정책에 의존하는 문제점을 해결하기 위해 FORTRESS 프레임워크를 제시합니다. FORTRESS는 실시간으로 의미적으로 안전한 대체 전략을 생성하고 추론하여 분포 외(OOD) 오류를 방지합니다. 정상 작동 시에는 다중 모달 추론기를 사용하여 목표를 식별하고 오류 모드를 예상하며, 런타임 모니터가 대체 응답을 트리거하면 실시간으로 의미적으로 안전하지 않은 영역을 추론하고 회피하면서 대체 목표에 대한 계획을 신속하게 합성합니다. 개방형 세계 다중 모달 추론과 역학 인식 계획을 결합하여 하드코딩된 대체 및 인간 안전 개입의 필요성을 없애고, 합성 벤치마크 및 실제 ANYmal 로봇 데이터에서 느린 추론 모델의 즉석 프롬프트보다 안전 분류 정확도가 높으며, 시뮬레이션 및 도시 항행용 쿼드로터 하드웨어에서 시스템 안전성과 계획 성공률을 향상시킵니다.
