본 논문은 실제 세계 데이터셋 변화(dataset shift) 상황에서 이미지 분류의 보정 상태에 대한 광범위한 연구를 수행합니다. 여러 이미지 도메인에서 8가지 분류 작업에 걸쳐 다양한 자연스러운 변화에 대한 다양한 사후 보정 방법과 훈련 중 보정 전략(예: 레이블 스무딩)의 상호 작용을 비교 분석하여, 변화 하에서 강건한 보정에 관심 있는 모든 실무자에게 실용적인 지침을 제공합니다. 주요 연구 결과는 다음과 같습니다: (i) 엔트로피 규제와 레이블 스무딩을 동시에 적용하면 데이터셋 변화 하에서 가장 잘 보정된 원시 확률을 얻을 수 있습니다. (ii) 소량의 의미론적 분포 외 데이터(작업과 무관)에 노출된 사후 보정기가 변화에 가장 강건합니다. (iii) 변화 하에서 보정을 향상시키는 것을 특별히 목표로 하는 최신 보정 방법이 더 간단한 사후 보정 방법보다 상당한 개선을 제공하지는 않습니다. (iv) 변화 하에서 보정을 향상시키는 것은 종종 분포 내 보정 악화를 초래합니다. 중요하게도, 이러한 결과는 임의로 초기화된 분류기와 기초 모델에서 미세 조정된 분류기에 모두 적용되며, 후자는 처음부터 훈련된 모델보다 일관되게 더 잘 보정됩니다. 마지막으로, 앙상블 효과에 대한 심층 분석을 통해 (i) 앙상블 후가 아닌 전에 보정을 적용하는 것이 변화 하에서 보정에 더 효과적이며, (ii) 앙상블의 경우, 분포 외 데이터 노출은 분포 내 변화된 보정 절충을 악화시키고, (iii) 앙상블은 보정 강건성을 향상시키는 가장 효과적인 방법 중 하나이며, 기초 모델에서의 미세 조정과 결합하면 전반적으로 최상의 보정 결과를 제공함을 발견했습니다.
