Position: Beyond Euclidean -- Foundation Models Should Embrace Non-Euclidean Geometries
Created by
Haebom
Category
Empty
저자
Neil He, Jiahong Liu, Buze Zhang, Ngoc Bui, Ali Maatouk, Menglin Yang, Irwin King, Melanie Weber, Rex Ying
개요
본 논문은 파운데이션 모델 및 대규모 언어 모델 시대에서 유클리드 공간의 한계를 지적하고, 비유클리드 기하학의 필요성을 강조한다. 대규모 데이터의 비유클리드 구조(다중 관계, 계층 구조, 대칭성 등)를 효과적으로 포착하기 위해 비유클리드 기하학을 활용해야 한다고 주장하며, 모델 효율성과 표현력을 향상시킬 수 있다고 제안한다.
시사점, 한계점
•
시사점:
◦
유클리드 공간의 한계를 극복하기 위해 비유클리드 기하학을 파운데이션 모델에 통합해야 함.
◦
비유클리드 기하학을 통해 모델의 효율성과 표현력을 향상시킬 수 있음.
◦
다운스트림 애플리케이션의 기하학에 맞게 임베딩을 동적으로 재구성하는 task-aware 적응성의 중요성.
◦
파운데이션 모델을 위한 비유클리드 기하학 통합 로드맵 제시 (fine-tuning, scratch training, hybrid 방식).
