머신 러닝 데이터셋이 다양한 의견을 정확하게 표현하려면 데이터 레이블의 변동성을 유지하면서 스팸 또는 저품질 응답을 필터링해야 한다. 본 논문은 주관적인 작업에서 주석자 필터링을 위한 다양한 휴리스틱이 변동성 보존에 미치는 영향을 경험적으로 평가한다. 기존의 스팸 필터링 방법이 레이블 다양성과 정확성 간의 최적의 절충점을 찾는 데 실패하며, 보수적인 주석자 제거 설정(<5%)이 가장 효과적임을 발견했다. 또한, 스팸 주석자가 실제보다 더 무작위적이라는 가정에 기반한 기존 방법의 한계를 지적하고, 레이블 다양성을 고려한 스팸 제거 방법의 필요성을 강조한다.
