Polynomial Neural Sheaf Diffusion: A Spectral Filtering Approach on Cellular Sheaves

작성자

Haebom

카테고리

Empty

저자

Alessio Borgi, Fabrizio Silvestri, Pietro Lio

💡 개요

본 논문은 기존 신경망 묶음(Neural Sheaf Networks)의 SVD 기반 정규화 및 밀집된 엣지 제약 맵의 확장성, 계산 비용, 기울기 불안정성 문제를 해결하기 위해 다항 신경망 묶음 확산(Polynomial Neural Sheaf Diffusion, PolyNSD)을 제안합니다. PolyNSD는 묶음 라플라시안의 K차 다항식으로 정의되는 전달 연산자를 사용하여 안정적인 3항 반복으로 K-홉 수용장을 효율적으로 구현합니다.

🔑 시사점 및 한계

•

효율적인 K-홉 수용장 구현: 단일 계층에서 K-홉 수용장을 달성하여 노드 특징 추출의 효율성을 높입니다.

•

확장성 및 안정성 향상: 엣지 제약 맵을 대각 행렬로 단순화하고, 안정적인 다항식 기반 연산 및 잔차/게이트 경로를 통해 계산량과 메모리 요구량을 줄이고 학습 안정성을 확보합니다.

•

종합적인 성능 향상: 동질적 및 이질적 데이터셋 모두에서 최신 성능을 달성하며, 묶음 차원에 독립적인 성능을 보여주어 기존 방법론의 한계를 극복합니다.

•

계산 비용 및 기울기 안정성 개선: SVD 기반 정규화 및 빈번한 라플라시안 재구축의 필요성을 제거하여 계산 효율성과 기울기 안정성을 높였습니다.

PDF 보기

Made with Slashpage