LUMA는 다양한 정보원(텍스트, 이미지, 오디오, 비디오)을 통합하여 의사결정을 향상시키는 다중 모달 심층 학습의 신뢰성을 높이기 위해 고안된 새로운 데이터셋입니다. 기존 CIFAR-10/100 데이터셋을 확장하여 오디오 및 텍스트 데이터를 추가했으며, 특히 불확실한 데이터로부터 학습하는 것을 목표로 다양한 유형과 정도의 불확실성을 제어하여 주입할 수 있도록 설계되었습니다. 오디오 데이터는 세 개의 오디오 코퍼스에서 추출되었고, 텍스트 데이터는 Gemma-7B LLM을 사용하여 생성되었습니다. LUMA는 데이터 다양성, 각 모달리티의 노이즈 양, 분포 외 샘플 추가 등을 제어하여 데이터셋의 여러 변형을 생성하는 함수를 포함하는 Python 패키지로 제공됩니다. 베이스라인 사전 훈련된 모델과 Monte-Carlo Dropout, Deep Ensemble, Reliable Conflictive Multi-View Learning 등 세 가지 불확실성 정량화 방법도 함께 제공됩니다. 이를 통해 신뢰할 수 있고 견고한 다중 모달 심층 학습 방법의 개발, 평가 및 벤치마킹을 지원합니다.
