본 논문은 인공지능(AI)과 인간이 결합된 의사결정 시스템, 특히 소셜 미디어 콘텐츠 조정 시스템의 효율성을 높이는 모델을 제시한다. 기존의 AI-인간 파이프라인은 AI의 위험 추정 불확실성, 콘텐츠 유입의 시간적 변동성, 인간 검토 용량, 선택적 샘플링 등을 고려하지 않는 단순 임계값 기반의 휴리스틱 방식을 사용한다. 본 논문에서는 AI가 문맥 정보를 관찰하여 분류 및 검토 결정을 내리고, 인간 검토 시스템의 지연을 고려하여 검토 작업을 스케줄링하는 모델을 제안한다. 인간 검토 과정에서 AI의 오류 수정 및 새로운 데이터 획득이 이루어지며, 목표는 잘못 분류된 작업의 비용을 최소화하는 것이다. 선택적 샘플링 데이터셋의 분류 손실, 검토되지 않은 작업의 고유 손실, 인간 검토 시스템의 정체로 인한 지연 손실을 신중하게 균형을 맞추는 준 최적 학습 알고리즘을 제시하며, 온라인 콘텐츠 데이터셋을 기반으로 한 수치 실험을 통해 기존 방식보다 오분류 수를 크게 줄일 수 있음을 보여준다. 이는 문맥적 대기열 시스템에서의 온라인 학습에 대한 최초의 결과이다.
