본 논문은 기존의 기초 모델과 대규모 언어 모델(LLMs)에서 유클리드 공간을 기하학적 설정으로 사용하는 것의 한계를 지적하고, 비유클리드 기하학의 도입이 차세대 기초 모델의 확장성을 유지하는 데 필수적임을 주장하는 위치 논문입니다. 실제 세계 데이터는 다양한 관계, 계층 구조, 대칭성, 비등방성 스케일링 등의 비유클리드 구조를 가지는 경우가 많으며, 유클리드 공간에서는 이러한 구조를 효과적으로 포착하기 어렵다는 점을 강조합니다. 비유클리드 기하학을 채택하면 기초 모델이 상기 구조를 더 효율적으로 활용할 수 있으며, 하위 애플리케이션의 기하학에 맞춰 임베딩을 동적으로 재구성하는 작업 인식 적응성을 통해 효율성과 표현력을 향상시킬 수 있다고 제안합니다. 또한, 미세 조정, 처음부터 학습, 하이브리드 접근 방식을 포함한 비유클리드 기하학을 기초 모델에 통합하는 로드맵을 제시합니다.
