FORT: Forward-Only Regression Training of Normalizing Flows
Created by
Haebom
저자
Danyal Rehman, Oscar Davis, Jiarui Lu, Jian Tang, Michael Bronstein, Yoshua Bengio, Alexander Tong, Avishek Joey Bose
개요
본 논문은 기존의 최대우도 추정 방식의 한계를 극복하고, 고품질 샘플 생성 및 정확한 우도 계산을 위한 확장 가능한 새로운 훈련 목표인 Forward-Only Regression Training (FORT)을 제안합니다. FORT는 변수 변환 공식 계산 없이 prior 샘플을 특정 타겟에 매핑하는 간단한 $\ell_2$-regression 목표 함수를 사용하며, optimal transport 타겟이나 사전 훈련된 연속 시간 정규화 흐름(CNF)과 같은 다양한 타겟을 지원합니다. 특히 CNF 타겟을 사용하여 기존 최대우도 추정 방식보다 성능과 안정성이 향상된 대규모 훈련을 가능하게 하며, 이전에는 훈련이 어려웠던 다양한 아키텍처를 활용할 수 있도록 합니다. 알라닌 이펩타이드, 삼펩타이드, 사펩타이드의 균형 상태 시뮬레이션을 통해 제안된 방법의 효과를 실험적으로 검증합니다.