본 논문에서는 학습된 라우팅 메커니즘을 통해 서로 다른 추상화 수준을 엔드투엔드 방식으로 연결하는 언어 모델 Synergy를 제시합니다. 저수준 언어적 추상화에 초점을 맞춰 바이트 수준 언어 모델로 훈련되었으며, 바이트를 자동으로 토큰화하여 Byte-level Byte Pair Encoder (BBPE) 토크나이저보다 적은 개념 토큰을 생성하면서도 유사한 성능을 유지합니다. Llama3와 비교한 결과, 동일한 모델 규모와 훈련 데이터셋 크기에서 Synergy의 우수성을 확인하였습니다. 추가 연구를 통해 모델의 중간 부분(고수준 추상화 부분)에서 위치 인코딩을 제거했을 때 성능이 향상되는 것을 관찰하여 위치에 독립적인 개념의 출현을 시사합니다. 이러한 결과는 토크나이저 없는 아키텍처의 실현 가능성을 보여주며, 보다 강력하고 유연한 파이프라인을 위한 길을 열어줍니다.
