GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression

Created by

Haebom

저자

Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Shui Yu

💡 개요

기존 딥러닝에서의 정보 병목(Information Bottleneck, IB) 방법론은 상위 추정치를 사용해 정보량(mutual information)을 간접적으로 제어하여 최적화가 불안정하고 압축 정도를 정확히 조절하기 어렵다는 한계가 있었습니다. 본 논문은 정보 기하학(information geometry)의 관점에서 IB 문제를 재해석하여, 정보량 추정 없이 I(X;Z)와 I(Z;Y)를 독립 다양체(independence manifold)로부터의 최소 KL 거리를 활용하여 직접적으로 제어하는 Geometric Information Bottleneck (GeoIB)을 제안합니다. GeoIB는 분포 수준의 Fisher-Rao(FR) 불일치와 기하학 수준의 Jacobian-Frobenius(JF) 항을 결합하여 정보 압축을 조절하며, 자연 구배 최적화 기법과 결합하여 안정적인 학습을 달성합니다.

🔑 시사점 및 한계

•

정보량 추정의 필요성을 없애고 IB의 정보 압축을 더 직접적이고 안정적으로 제어할 수 있는 새로운 방법론을 제시합니다.

•

분포 수준의 FR 불일치와 기하학 수준의 JF 항을 통합하여 예측 정확도와 압축률 간의 더 나은 균형을 달성하며, 학습 안정성을 향상시킵니다.

•

제안된 GeoIB는 다양한 데이터셋에서 기존 IB 방법론 대비 우수한 성능을 보여줍니다.

•

JF 항의 계산 복잡성이나 특정 확률 분포에 대한 제약 등은 향후 연구를 통해 개선될 수 있는 부분입니다.

PDF 보기

Made with Slashpage