Galaxy Walker: Geometry-aware VLMs For Galaxy-scale Understanding
Created by
Haebom
저자
Tianyu Chen, Xingcheng Fu, Yisen Gao, Haodong Qian, Yuecen Wei, Kun Yan, Haoyi Zhou, Jianxin Li
개요
본 논문은 우주 수준의 시각적 이해를 위한 기하 공간 인식 비전-언어 모델(VLM)인 Galaxy-Walker를 제안합니다. 기존 VLM들이 유클리드 공간에 국한된 반면, Galaxy-Walker는 행성 궤도를 위한 구면 공간과 블랙홀을 위한 쌍곡선 공간을 통합하여 다양한 기하 공간을 처리합니다. 여기에는 다양한 공간에서 다중 스케일 물리적 그래프를 따라 랜덤 워크를 통해 기하 토큰을 생성하는 기하 프롬프트와 전문가 혼합 방식으로 공간 비등방성을 압축 및 재구성하는 기하 어댑터가 포함됩니다. 실험 결과, Galaxy-Walker는 은하 특성 추정($R^2$ 점수 최대 0.91) 및 형태 분류 작업에서 최첨단 성능을 달성하며, 도메인 특정 모델 및 범용 VLM을 상당히 능가함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
우주 수준의 시각적 이해를 위한 새로운 기하 공간 인식 VLM인 Galaxy-Walker 제시
◦
다양한 기하 공간(유클리드, 구면, 쌍곡선)을 통합하여 우주 현상 이해 향상
◦
기하 프롬프트와 기하 어댑터를 통해 기하 공간의 비등방성을 효과적으로 처리
◦
은하 특성 추정 및 형태 분류 작업에서 최첨단 성능 달성
◦
도메인 특정 모델 및 범용 VLM 대비 성능 향상
•
한계점:
◦
현재 모델은 제시된 기하 공간에 한정되어 다른 기하 공간으로의 확장성에 대한 추가 연구 필요
