본 논문은 대규모 언어 모델(LLM)을 비언어적 토큰 모델링에 적용하는 연구에 대해 다룹니다. 기존의 LLM을 비언어적 영역에 적용할 때, 이산 빈에 대한 softmax가 토큰의 연속적인 구조와 고품질 토큰 생성에 필요한 복잡한 분포를 제대로 포착하지 못할 수 있다는 문제점을 지적합니다. 이를 해결하기 위해, 본 논문은 푸리에 급수를 이용하여 구성된 새로운 신경망 레이어인 "푸리에 헤드(Fourier head)"를 제안합니다. 푸리에 헤드는 기존 선형 레이어를 대체하여 출력이 더욱 연속적인 구조를 갖도록 합니다. 합성 데이터셋과 대규모 의사결정, 시계열 예측 작업에 대한 광범위한 분석을 통해 푸리에 헤드의 효과를 검증하고, 이론적 근거를 제시합니다. 실험 결과, 푸리에 헤드는 기저 데이터 분포가 자연스러운 연속 구조를 갖는 경우에 효과적임을 보여줍니다. 예를 들어, 푸리에 헤드는 의사결정 트랜스포머 에이전트의 보상을 최대 377% 향상시켰고, 최첨단 시계열 기반 모델의 예측 성능을 20개의 미지의 벤치마크에서 3.5% 향상시켰습니다.
