Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction
Created by
Haebom
저자
Alexei Figueroa, Justus Westerhoff, Golzar Atefi, Dennis Fast, Benjamin Winter, Felix Alexander Gers, Alexander Loser, Wolfgang Nejdl
개요
FlyVec이라는, 초파리 후각 회로에서 영감을 받은 단일층 신경망 기반 단어 임베딩 모델의 성능 개선을 목표로, 위치 정보를 복소수 가중치에 통합한 새로운 모델 Comply를 제안한다. Comply는 FlyVec을 능가하며, 대규모 최첨단 모델들과 비슷한 성능을 추가적인 파라미터 없이 달성한다. 문장의 희소한 문맥적 표현을 생성하며, 뉴런 가중치를 통해 직접 해석이 가능하다.
시사점, 한계점
•
시사점:
◦
생물학적 영감을 받은 단순한 신경망 구조가 최첨단 딥러닝 모델과 유사한 성능을 달성할 수 있음을 보여줌.