Architecture-agnostic Lipschitz-constant Bayesian header and its application to resolve semantically proximal classification errors with vision transformers

작성자

Haebom

카테고리

Empty

저자

Frederik Schafer, Luis Mandl, Lars Kalber, Tim Ricken

💡 개요

본 논문은 지도 학습 모델의 일반화 성능을 저해하는 중요한 병목 현상인 레이블 노이즈, 특히 의미론적으로 유사한 오분류 오류에 효과적으로 대응하기 위한 아키텍처 독립적인 Lipschitz 상수 베이즈 헤더를 제안합니다. 제안된 방법론은 Vision Transformer와 같은 특징 추출기에 통합되어 LipB-ViT를 생성하며, 변분 가중치의 평균 및 로그 분산에 대한 스펙트럼 정규화를 적용하여 예측 불확실성을 보정하고 노이즈 증폭을 완화합니다. 이를 통해 의미론적으로 근접한 오분류 레이블을 탐지하는 데 있어 기존의 k-NN 기반 방법보다 7% 이상 향상된 성능을 보였습니다.

🔑 시사점 및 한계

•

의미론적 오류에 강건한 레이블 노이즈 탐지: 제안된 LipB-ViT와 새로운 평가 지표는 의미론적으로 유사한 오분류로 인한 레이블 노이즈를 효과적으로 탐지하고, 데이터셋 품질 및 레이블 노이즈를 정량화하는 데 기여합니다.

•

아키텍처 독립적인 적용 가능성: 기존 사전 학습된 특징 추출기에 플러그 앤 플레이 방식으로 쉽게 통합될 수 있으며, 일관된 하이퍼파라미터 설정을 통해 다양한 도메인에 적용 가능합니다.

•

계산 비용 증가: 몬테 카를로 샘플링으로 인해 계산 비용이 증가하는 점은 한계점으로 지적될 수 있으며, 이는 향후 최적화 연구의 필요성을 시사합니다.

PDF 보기

Made with Slashpage