Bài báo này trình bày một mô hình nhằm cải thiện hiệu quả của các hệ thống ra quyết định kết hợp trí tuệ nhân tạo (AI) và con người, đặc biệt là các hệ thống kiểm duyệt nội dung trên mạng xã hội. Các quy trình AI-con người hiện tại dựa trên các phương pháp heuristic đơn giản dựa trên ngưỡng, không tính đến sự không chắc chắn trong ước tính rủi ro AI, sự biến đổi theo thời gian của luồng nội dung, khả năng đánh giá của con người và lấy mẫu chọn lọc. Trong bài báo này, chúng tôi đề xuất một mô hình trong đó AI quan sát thông tin theo ngữ cảnh để đưa ra quyết định phân loại và đánh giá, đồng thời lên lịch các tác vụ đánh giá, đồng thời tính đến sự chậm trễ trong hệ thống đánh giá của con người. Trong quá trình đánh giá của con người, các lỗi AI được sửa và dữ liệu mới được thu thập, với mục tiêu giảm thiểu chi phí của các tác vụ bị phân loại sai. Chúng tôi trình bày một thuật toán học tập chưa tối ưu, cân bằng cẩn thận giữa tổn thất phân loại của các tập dữ liệu được lấy mẫu chọn lọc, tổn thất vốn có của các tác vụ chưa được đánh giá và tổn thất chậm trễ do tắc nghẽn trong hệ thống đánh giá của con người. Các thí nghiệm số sử dụng tập dữ liệu nội dung trực tuyến chứng minh rằng mô hình của chúng tôi giảm đáng kể các trường hợp phân loại sai so với các phương pháp hiện có. Những kết quả này là minh chứng đầu tiên về học trực tuyến trong hệ thống xếp hàng theo ngữ cảnh.
