Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Flow-Induced Diagonal Gaussian Processes

Created by
  • Haebom

저자

Moule Lin, Andrea Patane, Weipeng Jing, Shuhao Guan, Goetz Botterweck

개요

FiD-GP는 신경망의 가중치 불확실성을 저차원 부분 공간으로 투영하기 위해 컴팩트한 유도 가중치 행렬을 통합하는 압축 프레임워크입니다. 정규화 흐름 사전 및 스펙트럼 정규화를 통해 표현력을 높이고 수치적으로 안정적인 투영 메커니즘 목표를 통해 유도 부분 공간을 특징-기울기 기하학과 정렬합니다. FiD-GP의 예측 프레임워크를 사용하여 Out-of-Distribution (OoD) 탐지를 위한 단일 패스 투영을 설계할 수 있습니다. 회귀, 이미지 분류, 의미 분할 및 OoD 탐지 벤치마크에서 SVGP 기반 기준선에 비해 불확실성 추정 능력을 향상시키고, 이론적으로 보장된 OoD 탐지로 타이트한 스펙트럼 잔차 경계를 충족하며, 신경망의 저장 요구 사항을 크게 압축합니다.

시사점, 한계점

베이지안 훈련 비용을 여러 단계로 줄입니다.
매개변수를 약 51% 압축합니다.
모델 크기를 약 75% 줄입니다.
최첨단 정확도 및 불확실성 추정과 일치합니다.
유도 가중치 수에 따라 추론 계산이 증가합니다.
👍