LUMA là một tập dữ liệu mới được thiết kế để nâng cao độ tin cậy của học sâu đa phương thức, tích hợp nhiều nguồn thông tin khác nhau (văn bản, hình ảnh, âm thanh và video) nhằm cải thiện việc ra quyết định. LUMA mở rộng tập dữ liệu CIFAR-10/100 hiện có bằng cách thêm dữ liệu âm thanh và văn bản, và được thiết kế đặc biệt để cho phép truyền tải nhiều loại và mức độ không chắc chắn khác nhau, với mục tiêu học từ dữ liệu không chắc chắn. Dữ liệu âm thanh được trích xuất từ ba tập dữ liệu âm thanh, và dữ liệu văn bản được tạo bằng Gemma-7B LLM. LUMA có sẵn dưới dạng gói Python bao gồm các hàm để tạo nhiều biến thể tập dữ liệu bằng cách kiểm soát tính đa dạng của dữ liệu, lượng nhiễu trong mỗi phương thức và việc bổ sung các mẫu không phân phối. Nó cũng cung cấp một mô hình được đào tạo trước cơ sở và ba phương pháp định lượng độ không chắc chắn: Monte-Carlo Dropout, Deep Ensemble và Reliable Conflictive Multi-View Learning. Điều này hỗ trợ việc phát triển, đánh giá và đánh giá chuẩn các phương pháp học sâu đa phương thức đáng tin cậy và mạnh mẽ.
