Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective
Created by
Haebom
저자
James Gong, Raymond Luo, Emma Wang, Leon Ge, Bruce Li, Felix Marattukalam, Waleed Abdulla
개요
본 논문은 역전파 알고리즘의 생물학적 비현실성과 전역 오류 전파라는 한계를 극복하기 위해 제안된 Forward-Forward 알고리즘의 성능 개선에 초점을 맞추고 있습니다. 기존 Forward-Forward 알고리즘은 정확도 면에서 역전파 알고리즘에 크게 뒤쳐지고 추론 효율성 또한 낮다는 단점이 있었습니다. 본 연구에서는 유사도 학습 프레임워크를 Forward-Forward 알고리즘에 통합하여 추론 과정에서 여러 번의 순전파를 수행할 필요를 없애는 FAUST (Forward-Forward Algorithm Unified with Similarity-based Tuplet loss) 알고리즘을 제안합니다. MNIST, Fashion-MNIST, CIFAR-10 데이터셋을 이용한 실험 결과, FAUST는 기존 Forward-Forward 알고리즘에 비해 정확도를 크게 향상시켜 역전파 알고리즘과의 성능 차이를 줄였음을 보여줍니다. 특히 CIFAR-10 데이터셋에서 단순한 다층 퍼셉트론 구조를 사용하여 56.22%의 정확도를 달성하여 역전파 알고리즘의 57.63%에 근접하는 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
유사도 학습 기법을 활용하여 Forward-Forward 알고리즘의 정확도를 향상시킬 수 있음을 보여줌.