LieBN: Batch Normalization over Lie Groups
Author
- Haebom
Category
Empty
저자
Ziheng Chen, Yue Song, Rui Wang, Xiao-Jun Wu, Nicu Sebe
💡 개요
본 논문은 다양한 머신러닝에서 활용되는 매니폴드(manifold) 상의 데이터 처리를 위해 새로운 배치 정규화 기법인 LieBN을 제안합니다. LieBN은 리 군(Lie group) 위에서 작동하는 리만 배치 정규화(RBN) 프레임워크로, 이론적으로 편리한 좌/우 불변(left- and right-invariant) 리만 메트릭을 활용하여 매니폴드 상의 데이터 분포를 효과적으로 정규화합니다. 이를 통해 제안된 방법론은 다양한 기하학적 구조를 가진 매니폴드에서 실험적으로 그 유효성을 입증했습니다.
🔑 시사점 및 한계
•
매니폴드 학습에서 데이터 분포의 안정성을 높여 모델 성능 향상에 기여할 수 있습니다.
•
리 군 이론을 활용하여 다양한 기하학적 구조를 가진 매니폴드에 적용 가능한 일반적인 정규화 프레임워크를 제공합니다.
•
새로운 리만 메트릭의 도입 및 기존 구조의 확장 가능성을 제시합니다.
•
제안된 프레임워크의 복잡성이나 계산 비용, 그리고 특정 리 군에 대한 적용 가능성 등에 대한 추가적인 연구가 필요합니다.
