본 논문은 콘텐츠 조정에서 주석의 불일치를 활용하는 새로운 프레임워크를 제시합니다. 기존의 콘텐츠 조정 시스템은 인간 모더레이터와 머신러닝 모델을 결합하지만, 주석 불일치를 노이즈로 간주하는 경향이 있습니다. 본 논문에서는 이러한 불일치를 콘텐츠의 모호성을 보여주는 귀중한 신호로 해석하고, 다중 작업 학습을 통해 독성 분류와 주석 불일치를 동시에 학습하는 접근 방식을 제시합니다. 특히 Conformal Prediction을 활용하여 주석의 모호성과 모델의 불확실성을 고려하고, 모더레이터가 주석 불일치에 대한 임계값을 조정할 수 있도록 유연성을 제공합니다. 실험 결과, 제시된 프레임워크는 단일 작업 방식에 비해 모델 성능, 보정, 불확실성 추정을 향상시키고 매개변수 효율성을 높이며 검토 프로세스를 개선하는 것으로 나타났습니다.
