Identifiable Token Correspondence for World Models

작성자

Haebom

카테고리

Empty

저자

Youngin Kim (Interdisciplinary Program in Artificial Intelligence, Seoul National University), Ray Sun (Department of Computer Science and Engineering, Seoul National University), Inho Kim (Department of Computer Science and Engineering, Seoul National University), Bumsoo Park (KRAFTON), Hyun Oh Song (Interdisciplinary Program in Artificial Intelligence, Seoul National University, Department of Computer Science and Engineering, Seoul National University)

💡 개요

본 논문은 Transformer 기반 월드 모델의 장기 예측 시 발생하는 시간적 불일치 문제를 해결하기 위해, 프레임 간 토큰의 대응 관계를 명시적으로 모델링하는 새로운 방법론을 제안합니다. 제안된 방법은 다음 프레임 예측을 잠재적 토큰 대응 변수를 포함하는 구조적 확률 추론 문제로 공식화하여, 기존 토큰을 복사하거나 새로운 토큰을 생성하는 방식으로 토큰을 설명합니다. 이를 통해 4개의 어려운 벤치마크에서 최첨단 성능을 달성하며, 특히 Craftax-classic 벤치마크에서 기존 최고 기록을 크게 경신했습니다.

🔑 시사점 및 한계

•

Transformer 기반 월드 모델의 시간적 일관성 부족 문제를 해결하는 효과적인 접근 방식을 제시합니다.

•

토큰 간 대응 관계를 명시적으로 모델링함으로써 시각적 강화 학습에서 월드 모델의 예측 정확도를 향상시킬 수 있습니다.

•

복잡한 시각적 장면이나 객체 변화가 심한 환경에서의 장기 예측 성능 향상 가능성을 보여줍니다.

•

제안된 방법론의 계산 복잡성이나 실제 적용 시의 확장성에 대한 추가 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage