FANformer: Improving Large Language Models Through Effective Periodicity Modeling
Created by
Haebom
저자
Yihong Dong, Ge Li, Xue Jiang, Yongding Tao, Kechi Zhang, Hao Zhu, Huanyu Liu, Jiazheng Ding, Jia Li, Jinliang Deng, Hong Mei
개요
본 논문은 주기성 모델링이 Transformer 기반 대규모 언어 모델(LLM)의 학습 효율과 성능에 미치는 영향을 연구합니다. 주기성은 인간 학습에서 중요한 특징이나, 기존 Transformer의 주기성 모델링에는 한계가 있다는 점을 지적합니다. 이를 해결하기 위해, Fourier Analysis Network (FAN)을 어텐션 메커니즘에 통합한 FANformer를 제안합니다. FANformer는 어텐션 메커니즘의 특징 투영 과정을 수정하여 효율적인 주기성 모델링을 달성합니다. 실험 결과, FANformer는 모델 크기와 학습 토큰 수가 증가함에 따라 Transformer보다 우수한 학습 효율과 성능을 보이며, 특히 추론 규칙 학습 및 적용 능력에서 우수함을 보입니다.
시사점, 한계점
•
시사점:
◦
FANformer는 Transformer보다 효율적이고 성능이 뛰어난 LLM 아키텍처임을 제시합니다.
◦
대규모 모델과 많은 학습 데이터에서도 우수한 성능을 유지합니다.
◦
추론 능력 향상에 기여합니다.
◦
주기성 모델링의 중요성을 강조합니다.
•
한계점:
◦
FANformer의 성능 향상이 모든 downstream task에서 일관되게 나타나는지는 추가 연구가 필요합니다.
