Sign In

A Simplex Witness Certificate for Constant Collapse in Variational Autoencoders

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zegu Zhang, Jianhua Peng, Jian Zhang

πŸ’‘ κ°œμš”

λ³Έ 논문은 λ³€λΆ„ μ˜€ν† μΈμ½”λ”(VAE)μ—μ„œ λ°œμƒν•˜λŠ” 'μ •ν™•ν•œ μƒμˆ˜ λΆ•κ΄΄(exact constant collapse)' 문제λ₯Ό μ—°κ΅¬ν•©λ‹ˆλ‹€. λ°μ΄ν„°μ˜ GMM 근사λ₯Ό 톡해 κ³ μ •λœ 'ꡐ사 사후 뢄포(teacher posterior)'λ₯Ό κ΅¬μΆ•ν•˜κ³ , 이에 λŒ€μ‘ν•˜λŠ” 'λ‹¨μˆœ λΆ•κ΄΄ 증λͺ…μž(simplex witness)'λ₯Ό 인코더 평균에 λΆ€μ°©ν•˜μ—¬ μ •λ ¬ 손싀을 κ³„μ‚°ν•©λ‹ˆλ‹€. 이 방법을 톡해 λΆ•κ΄΄ν•˜μ§€ μ•ŠμŒμ„ 보μž₯ν•˜λŠ” μƒˆλ‘œμš΄ 원리λ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
VAE의 인코더가 μž…λ ₯κ³Ό λ¬΄κ΄€ν•΄μ§€λŠ” 'μƒμˆ˜ λΆ•κ΄΄' ν˜„μƒμ„ μˆ˜ν•™μ μœΌλ‘œ λΆ„μ„ν•˜κ³ , 이λ₯Ό 검증할 수 μžˆλŠ” 'λ‹¨μˆœ λΆ•κ΄΄ 증λͺ…μž'λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€.
β€’
'ꡐ사 사후 뢄포'와 'λ‹¨μˆœ λΆ•κ΄΄ 증λͺ…μž'λ₯Ό ν™œμš©ν•˜μ—¬ λΆ•κ΄΄λ₯Ό λ°©μ§€ν•˜λŠ” ꡬ체적인 ν›ˆλ ¨ 방법둠과 섀계 원리λ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ œμ‹œλœ 방법둠은 'μ •ν™•ν•œ μƒμˆ˜ λΆ•κ΄΄'에 μ΄ˆμ μ„ λ§žμΆ”κ³  있으며, μž¬κ΅¬μ„± ν’ˆμ§ˆ, μƒ˜ν”Œλ§ ν’ˆμ§ˆ λ“± λ‹€λ₯Έ VAE의 μ„±λŠ₯ μ§€ν‘œλŠ” μ§μ ‘μ μœΌλ‘œ 닀루지 μ•Šμ•„ 좔가적인 평가가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage