본 논문은 다중 모달 모델의 기반이 되는 교차 모달 임베딩의 시각화를 위한 새로운 차원 축소 기법인 AKRMap을 제안합니다. 기존의 PCA나 t-SNE와 같은 차원 축소 기법은 단일 모달 내 특징 분포에만 초점을 맞추는 반면, AKRMap은 CLIPScore와 같은 다중 모달 간의 메트릭을 통합하여 더욱 정확한 시각화를 제공합니다. AKRMap은 투영 공간에서 메트릭 지형의 커널 회귀를 학습하는 지도 학습 기반 투영 네트워크를 구축하고, 적응적 일반화된 커널을 사용하여 투영과 함께 최적화합니다. 복잡한 메트릭 분포를 포착하는 시각화를 생성하고, 확대/축소 및 오버레이와 같은 대화형 기능을 지원합니다. 실험 결과, AKRMap이 기존 기법보다 더 정확하고 신뢰할 수 있는 시각화를 생성함을 보여주며, 텍스트-이미지 모델의 교차 모달 임베딩 시각화 및 비교에 효과적임을 보여줍니다. GitHub에서 코드와 데모를 제공합니다.
