Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

World Model Robustness via Surprise Recognition

Created by
  • Haebom
Category
Empty

저자

Geigh Zollicoffer, Tanush Chopra, Mingkuan Yan, Xiaoxu Ma, Kenneth Eaton, Mark Riedl

개요

실제 환경에서 AI 시스템은 예측하지 못한 노이즈와 외부 분포(OOD)에 직면하여 정책이 불안정해지고 안전하지 않은 동작을 할 수 있다. 이 문제를 해결하기 위해, 본 논문은 세계 모델의 내재된 놀라움 척도를 활용하여 세계 모델 기반 강화 학습 에이전트에서 노이즈의 영향을 줄이는 알고리즘을 개발했다. 특히, 다중 표현 및 단일 표현 거부 샘플링을 도입하여 여러 개의 결함 센서 또는 단일 결함 센서가 있는 환경에서의 견고성을 확보했다. 자율 주행 시뮬레이션 환경 (CARLA 및 Safety Gymnasium)에서 다양한 유형과 수준의 노이즈 하에서도 기본 모델 대비 성능을 유지하는 것을 확인했으며, Cosmos와 DreamerV3와 같이 서로 다른 아키텍처를 가진 두 개의 최첨단 세계 모델의 안정성을 향상시켰다.

시사점, 한계점

시사점:
세계 모델 기반 강화 학습 에이전트의 노이즈에 대한 견고성 향상.
다중 및 단일 센서 결함 환경에서의 성능 유지.
Cosmos 및 DreamerV3와 같은 다양한 세계 모델 아키텍처에 적용 가능.
자율 주행 시뮬레이션 환경에서 검증.
한계점:
모든 OOD 조건을 예측하는 것은 불가능하다는 전제.
제안된 방법의 일반화 가능성에 대한 추가 연구 필요.
👍