본 논문은 다양한 희소성, 해상도, 모달리티(예: 응력각, 맨틀 온도, 지각판 유형)를 가진 이종 데이터셋으로부터 지하 특성을 재구성하기 위한 Transformer 기반 아키텍처인 "투명 지구(Transparent Earth)"를 제시합니다. 각 모달리티는 서로 다른 유형의 관측값을 나타내며, 모델은 관측값의 위치 인코딩과 함께 텍스트 임베딩 모델을 통해 각 모달리티에 대한 설명으로부터 도출된 모달리티 인코딩을 통합합니다. 이 설계를 통해 모델은 임의의 수의 모달리티로 확장될 수 있으며, 초기 설계에서 고려되지 않은 새로운 모달리티를 추가하는 것이 간편합니다. 현재 방향각, 범주형 클래스, 온도 및 두께와 같은 연속적인 특성을 포함하는 8가지 모달리티가 포함되어 있습니다. 이러한 기능은 컨텍스트 내 학습을 지원하여 입력 없이 또는 임의의 수의 추가 관측값을 모달리티의 임의 하위 집합으로부터 사용하여 예측을 생성할 수 있습니다. 검증 데이터에서 이는 응력각 예측의 오류를 3배 이상 줄였습니다. 제안된 아키텍처는 확장 가능하며, 매개변수가 증가함에 따라 성능이 향상됨을 보여줍니다. 이러한 발전을 통해 투명 지구는 궁극적으로 지구상 어디에서든지 지하 특성을 예측하는 것을 목표로 하는 지구 지하에 대한 초기 기초 모델이 됩니다.
