Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training

Thu, 30 Apr 2026 08:04:51 GMT

### 저자

Vin Bhaskara, Haicheng Wang

### 💡 개요

이 논문은 기존의 즉각적인 예측 오류 기반 호기심 보상 방식이 세계 모델의 누적 예측 오류를 간과하는 문제를 해결하고자 합니다. 이를 위해, 제안된 Curiosity-Critic 방법론은 누적 예측 오류 개선을 기반으로 하는 고유 보상을 설계했으며, 이는 현재 예측 오류와 특정 상태 전이의 점근적 오류 기준치 간의 차이로 계산 가능함을 보입니다. 학습된 비평자(critic)를 통해 점근적 오류 기준치를 온라인으로 추정하며, 이를 통해 학습 가능한 전이로 탐색을 유도하여 세계 모델 학습 속도와 정확도를 향상시킵니다.

### 🔑 시사점 및 한계

- **새로운 탐색 전략:** 누적 예측 오류 개선을 기반으로 하는 Curiosity-Critic은 기존의 즉각적인 예측 오류나 방문 횟수 기반 탐색 방식보다 더 효과적으로 학습 가능한 전이를 탐색할 수 있습니다.

- **에피스테믹 vs. 알레토릭 오류 분리:** 온라인으로 에피스테믹(감소 가능) 예측 오류와 알레토릭(감소 불가능) 예측 오류를 분리하여, 보다 효율적인 세계 모델 학습을 가능하게 합니다.

- **기존 방법론의 일반화:** 제안된 방법론은 기존의 다양한 예측 오류 기반 호기심 보상 방식들을 특정 근사치로 포함하는 일반화된 프레임워크를 제공합니다.

- **한계점:** 제안된 방법론의 복잡성과 실제 고차원 환경에서의 적용 가능성 및 계산 효율성에 대한 추가적인 연구가 필요할 수 있습니다. 또한, 비평자(critic)의 성능이 전체 시스템 성능에 미치는 영향에 대한 심층적인 분석이 요구됩니다.

[PDF 보기](https://arxiv.org/pdf/2604.18701)