Full Bayesian Reinforcement Learning via LF-IBIS
작성자
카테고리
Empty
저자
Stefano Masini, Cecilia Viscardi, Michela Baccini
💡 개요
본 논문은 실제 환경에서 환경 역학에 대한 명시적인 가능도 함수가 없거나 다루기 어려운 상황에서도 완전한 베이지안 추론이 가능한 새로운 베이지안 강화학습(BRL) 알고리즘인 LF-IBIS를 제안한다. LF-IBIS는 근사 베이지안 계산(ABC)과 반복 배치 중요도 샘플링(IBIS)을 결합하여 환경 매개변수와 최적 정책에 대한 사후 분포를 온라인으로 업데이트한다. 이를 통해 정책 불확실성을 정량화하여 탐험-활용 균형을 베이지안적으로 다룰 수 있게 한다.
🔑 시사점 및 한계
•
명시적인 가능도 함수 없이도 환경 매개변수와 최적 정책에 대한 베이지안 추론을 가능하게 하여 BRL 적용 범위를 확장한다.
•
정책 불확실성 정량화를 통해 베이지안적인 탐험-활용 균형 전략 수립에 기여한다.
•
시뮬레이션 연구 및 임상 시험과 같은 실제 적용 가능성을 보여주며, 특히 닫힌 형식의 사후 분포를 통해 검증 가능성을 높인다.
•
LF-IBIS의 사후 분포 근사 성능 및 계산 효율성에 대한 추가적인 이론적 분석과 다양한 실제 문제에서의 확장 가능성 연구가 필요하다.
