Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Where are we with calibration under dataset shift in image classification?

Created by
  • Haebom

저자

Melanie Roschewitz, Raghav Mehta, Fabio de Sousa Ribeiro, Ben Glocker

개요

본 논문은 이미지 분류 작업에서 실제 데이터셋 변화(shift) 하에서의 보정(calibration) 상태에 대한 광범위한 연구를 수행한다. 다양한 사후(post-hoc) 및 훈련 중(in-training) 보정 기법의 선택에 대한 중요한 통찰력을 제공하며, shift 환경에서 견고한 보정에 관심 있는 모든 실무자를 위한 실질적인 지침을 제시한다. 여러 이미지 영역에 걸쳐 8개의 다양한 분류 작업에 대한 광범위한 자연적 변화를 통해 다양한 사후 보정 방법과 일반적인 훈련 중 보정 전략(예: 레이블 스무딩)과의 상호 작용을 비교한다.

시사점, 한계점

엔트로피 정규화와 레이블 스무딩을 동시에 적용하는 것이 데이터셋 변화 환경에서 가장 잘 보정된 raw 확률을 생성한다.
소량의 의미론적 out-of-distribution 데이터(작업과 관련 없음)에 노출된 사후 보정기가 shift 환경에서 가장 강력하다.
shift 환경에서 보정을 향상시키는 것을 목표로 하는 최근의 보정 방법이 단순한 사후 보정 방법보다 반드시 더 나은 성능을 제공하는 것은 아니다.
shift 환경에서 보정 향상은 종종 in-distribution 보정 악화라는 대가를 치른다.
이러한 결과는 무작위로 초기화된 분류기와 파운데이션 모델에서 미세 조정된 분류기 모두에 적용되며, 후자는 처음부터 훈련된 모델보다 일관되게 더 나은 보정을 보인다.
앙상블 효과 분석 결과:
앙상블 전에 보정을 적용하는 것이 shift 환경에서 보정에 더 효과적이다.
앙상블의 경우, OOD 노출은 ID-shifted 보정 trade-off를 악화시킨다.
앙상블은 보정 견고성을 향상시키는 가장 효과적인 방법 중 하나이며, 파운데이션 모델에서 미세 조정과 결합하여 전반적으로 최고의 보정 결과를 제공한다.
👍