본 논문은 대규모 자기 지도 학습(SSL) 기반으로 사전 훈련된 파운데이션 모델의 압축 기술인 Foundation Model Distillation (FMD)을 제안한다. FMD는 모델의 일반적인 표현력을 유지하면서 소형화하고 효율적으로 만드는 것을 목표로 한다. 특히, 3D 포인트 클라우드에 FMD를 적용한 Foundry를 제시하며, 교사의 토큰 레벨 표현을 재구성하는 SuperTokens를 학습하는 학생 모델을 훈련시킨다. 이로써 다양한 다운스트림 작업에서 강력한 전이성을 유지하면서 토큰 수와 FLOPs를 줄여, 자원 제약적인 하드웨어에서의 배포 가능성을 높인다.
