Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity
Created by
Haebom
Category
Empty
저자
Mouin Ben Ammar, David Brellmann, Arturo Mendoza, Antoine Manzanera, Gianni Franchi
개요
본 논문은 기계 학습 시스템의 신뢰성과 안전성을 보장하기 위해 필수적인 Out-of-Distribution (OOD) 감지에 대해 연구하며, 특히 사후 감지 방식에 초점을 맞춘다. 모델 용량과 OOD 감지 성능 간의 관계를 탐구하여, Double Descent 현상이 사후 OOD 감지에서도 나타나는지 확인한다. 또한, 과다 매개변수화가 OOD 감지에도 긍정적인 영향을 미칠 수 있는지 조사한다. 실험을 통해 Double Descent 효과를 입증하고, 이론적 근거를 제시하며, 최적의 OOD 감지 성능을 위한 모델 매개변수 범위를 식별하는 방법을 제안한다.
시사점, 한계점
•
시사점:
◦
사후 OOD 감지에서 Double Descent 현상 확인.
◦
과다 매개변수화가 일반화 성능뿐만 아니라 OOD 감지에도 긍정적인 영향을 미칠 수 있음.
◦
OOD 감지를 위한 최적의 모델 매개변수 범위 식별 방법 제시.
•
한계점:
◦
본 논문에서 구체적으로 언급된 한계점은 명시되지 않음. (논문의 요약 내용만 제공되었기 때문)
