Rooted Absorbed Prefix Trajectory Balance with Submodular Replay for GFlowNet Training
작성자
카테고리
Empty
저자
Xi Wang, Wenbo Lu, Shengjie Wang
💡 개요
본 논문은 GFlowNet 학습 시 발생하는 모드 붕괴(prefix collapse, length bias) 문제를 해결하기 위해 두 가지 요인, 즉 초기 접두사에 대한 약한 신용 할당과 대표적이지 않은 훈련 흐름 분포를 유발하는 편향된 리플레이를 지적합니다. 이를 해결하고자, 제안된 Rooted Absorbed Prefix Trajectory Balance (RapTB)는 루트에 부착된 서브트래젝토리 감독과 흡수된 접미사 기반 백업을 통해 중간 접두사에 대한 조밀한 학습 신호를 제공합니다. 또한, Submodular replay refresh (SubM) 전략을 통해 고보상과 다양성을 동시에 증진시켜 리플레이로 인한 분포 변화를 완화합니다.
🔑 시사점 및 한계
•
GFlowNet의 핵심 문제인 모드 붕괴를 효과적으로 완화하고 학습 성능을 향상시키는 새로운 목적 함수(RapTB)와 리플레이 전략(SubM)을 제안합니다.
•
분자 생성과 같은 실제 과제에서 제안된 방법론이 최적화 성능, 분자 다양성, 유효성을 동시에 개선함을 실험적으로 입증했습니다.
•
제안된 방법론이 다른 생성 모델링 작업이나 더 복잡한 GFlowNet 아키텍처에 얼마나 잘 적용될 수 있는지에 대한 추가적인 연구가 필요합니다.
