SURGE: Surrogate Gradient Adaptation in Binary Neural Networks

작성자

Haebom

카테고리

Empty

저자

Haoyu Huang, Boyu Liu, Linlin Yang, Yanjing Li, Yuguang Yang, Xuhui Liu, Canyu Chen, Zhongqian Fu, Baochang Zhang

💡 개요

이 연구는 이진 신경망(BNN) 학습 시 필연적으로 발생하는 미분 불가능한 이진화 연산으로 인한 기울기 근사 문제점을 해결하기 위해 SURGE(SURrogate GradiEnt Adaptation)라는 새로운 학습 가능한 기울기 보상 프레임워크를 제안합니다. SURGE는 보조적인 역전파와 이중 경로 기울기 보상기(DPGC)를 통해 기울기 불일치를 완화하고, 적응형 기울기 스케일러(AGS)를 활용하여 학습 안정성을 높입니다. 이를 통해 이미지 분류, 객체 탐지, 언어 이해 등 다양한 과제에서 최신 기술 대비 우수한 성능을 달성했습니다.

🔑 시사점 및 한계

•

SURGE는 기존의 수작업으로 설계된 기울기 추정 방식의 한계를 극복하고, 이론적 기반을 갖춘 학습 가능한 방식으로 BNN의 학습 효율성을 크게 향상시킬 수 있음을 보여줍니다.

•

DPGC를 통한 보조 전체 정밀도 경로 활용은 기울기 정보 손실을 줄이고 편향이 적은 기울기 추정을 가능하게 하여 BNN 성능 향상의 중요한 기반이 됩니다.

•

AGS는 동적으로 기울기 기여도를 조절하여 학습 불안정성을 완화하고 전반적인 학습 과정을 안정화하는 데 기여합니다.

•

제안된 방법론은 기존의 최신 BNN 학습 기법들보다 우수한 성능을 보이지만, 복잡한 모델 구조나 대규모 데이터셋에 대한 추가적인 검증 및 최적화가 필요할 수 있습니다.

PDF 보기

Made with Slashpage