Bài báo này trình bày MetaOcc, một khuôn khổ đa phương thức cho dự đoán tình trạng chiếm dụng 3D mạnh mẽ ngay cả trong điều kiện thời tiết bất lợi. MetaOcc thực hiện dự đoán tình trạng chiếm dụng 3D đa hướng bằng cách sử dụng radar 4D đa góc nhìn và hình ảnh. Để khắc phục những hạn chế của việc áp dụng trực tiếp bộ mã hóa dựa trên LiDAR vào dữ liệu radar thưa thớt, chúng tôi đề xuất một mô-đun Tự chú ý Độ cao Radar giúp tăng cường suy luận không gian theo chiều dọc và trích xuất đặc điểm. Hơn nữa, chúng tôi giảm thiểu sự không khớp không gian-thời gian và làm phong phú thêm biểu diễn đặc điểm hợp nhất thông qua chiến lược hợp nhất đa phương thức đa quy mô phân cấp thực hiện hợp nhất cục bộ-toàn cục thích ứng trên các phương thức và thời gian. Để giảm sự phụ thuộc vào các chú thích đám mây điểm tốn kém, chúng tôi đề xuất một đường ống tạo nhãn giả dựa trên bộ phân đoạn tập mở, triển khai chiến lược học bán giám sát đạt được 90% hiệu suất giám sát tổng thể chỉ bằng 50% nhãn sự thật cơ bản. Kết quả thử nghiệm cho thấy MetaOcc đạt được hiệu suất tiên tiến nhất bằng cách cải thiện các phương pháp hiện có thêm +0,47 SC IoU và +4,02 mIoU trên tập dữ liệu OmniHD-Scenes, và thêm +1,16 SC IoU và +1,24 mIoU trên tập dữ liệu SurroundOcc-nuScenes.
