Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

작성자

Haebom

카테고리

Empty

저자

Heegeon Yoon, Heeyoung Kim

💡 개요

본 논문은 데이터 불균형 문제를 겪는 반지도 학습 환경에서 다중 모달 데이터를 효과적으로 활용하기 위한 심층 생성 모델을 제안한다. 제안된 모델은 각 모달리티에 대한 별도의 인코더와 공유되는 잠재 변수를 활용하며, Student's t-분포를 사용하여 데이터 불균형으로 인한 꼬리 분포를 더 잘 포착한다. 특히 $\gamma$-power divergence를 이용한 새로운 목적 함수를 통해 레이블이 있는 데이터와 없는 데이터 모두에서 학습하여 기존 방법론 대비 뛰어난 일반화 성능과 분류 성능을 달성했다.

🔑 시사점 및 한계

•

다중 모달 데이터의 상호 보완성을 활용하여 클래스 불균형이 심한 반지도 학습 환경에서 성능을 크게 향상시킬 수 있다.

•

Student's t-분포를 사용하여 데이터 불균형으로 인한 잠재 변수의 꼬리 분포를 효과적으로 모델링함으로써 더 강건한 학습이 가능하다.

•

제안된 모델은 벤치마크 및 실제 데이터셋에서 기존의 단일 모달 반지도 학습 방법론과 다중 모달 생성 모델을 능가하는 성능을 보여준다.

•

향후 연구에서는 더 복잡한 모달리티 간의 상호작용을 모델링하거나, 실제 적용 시 발생할 수 있는 계산 복잡성 및 확장성에 대한 추가적인 연구가 필요할 수 있다.

PDF 보기

Made with Slashpage