본 논문은 Transformer 기반 음악 생성 모델에서 계산 비용을 줄이기 위해 Random Fourier Features (RFF) 기반 커널 근사 기법과 위치 인코딩(PE) 모듈에 음악적 구조 정보를 추가하는 접근 방식을 연구합니다. 특히, RFF 기반 PE와 Rotary Positional Encoding (RoPE) 같은 회전 행렬 기반 PE를 커널 방법론 기반의 통합된 프레임워크를 통해 비교 분석합니다. 이를 통해, 시간적 순서에서 인과 관계를 추출할 수 있는 새로운 PE 방법인 RoPEPool을 제시합니다. 멜로디 화성 생성이라는 음악 생성 작업을 통해 실험적으로 검증하며, RoPEPool과 정보량이 많은 구조적 사전 정보를 결합하여 기존 방법들을 능가하는 성능을 보임을 보여줍니다.
