본 논문은 유클리드 기반 연산에 의존하는 기존 대규모 언어 모델(LLM)의 한계를 극복하고 자연어의 계층적 의미 구조와 기하학적 특성을 더 잘 반영하기 위해, 비유클리드 기하학, 특히 쌍곡 공간을 활용한 새로운 LLM인 HELM을 제안합니다. HELM은 변환기 기반 LLM의 기하학적 재해석을 통해 표현의 유연성 부족, 필수 연산의 부재, 확장성 저하 문제를 해결하고자 합니다. 특히 곡률이 다른 여러 공간에서 작동하는 전문가 모델 HELM-MICE와 고밀도 모델 HELM-D를 제시하며, 효율적인 학습 및 추론을 위한 쌍곡 다중 머리 잠재적 주의 메커니즘(HMLA)과 쌍곡 회전 위치 인코딩 및 RMS 정규화를 개발했습니다. 10억 파라미터 규모의 완전한 쌍곡 LLM을 최초로 학습시켜 MMLU 및 ARC와 같은 벤치마크에서 기존 유클리드 기반 모델(LLaMA, DeepSeek) 대비 최대 4%의 성능 향상을 보였습니다.
