본 논문은 아프리카 지역의 가구 부(Household Wealth)를 예측하기 위해 위성 이미지와 인터넷에서 수집한 텍스트 데이터를 활용하는 다중 모달 프레임워크를 제시합니다. Demographic and Health Survey (DHS) 데이터와 Landsat 이미지, 그리고 LLM이 생성한 텍스트 설명 및 AI 에이전트가 웹에서 수집한 텍스트를 결합하여 다섯 가지 파이프라인 (위성 이미지 기반 비전 모델, 위치/연도만 사용하는 LLM, 웹 텍스트 검색/합성 AI 에이전트, 이미지-텍스트 결합 엔코더, 모든 신호의 앙상블)을 통해 국제 부의 지수(International Wealth Index)를 예측합니다. 실험 결과, 위성 이미지와 LLM 생성 텍스트를 결합한 모델이 이미지만 사용한 모델보다 성능이 우수하며(예: 샘플 외 R-제곱 0.77 vs 0.63), LLM 내부 지식이 에이전트 수집 텍스트보다 효과적임을 보여줍니다. 또한, 시각 및 언어 모달리티의 결합된 임베딩 간에 중간 정도의 상관관계(중앙값 코사인 유사도 0.60)가 존재하며, 대규모 다중 모달 데이터셋(60,000개 이상의 DHS 클러스터와 위성 이미지, LLM 생성 설명, 에이전트 수집 텍스트)을 공개합니다.
