Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks

Created by
  • Haebom

저자

Lennart Bramlage, Cristobal Curio

개요

본 논문은 안전에 민감한 응용 분야에서 중요하지만 예측 성능 저하 때문에 기성 신경망에서 종종 생략되는 불확실성 정량화 문제를 해결하기 위한 이론적 기반의 사후 불확실성 추정 프레임워크를 제안합니다. 회귀 작업에서 원본 입력과 고정된 모델 출력 모두에 보조 모델을 적합시켜 사후 불확실성을 추정합니다. 최대 우도 추정 및 순차적 매개변수 적합 원리를 이용하여 추론 시 샘플링이나 근사 없이 가우시안 매개변수의 정규 MLE를 복구하는 정확한 사후 최적화 목표를 공식화합니다. 모델 출력을 사용하여 불확실성을 추정하는 이전 연구와 달리, 이 방법이 유효한 조건을 명시적으로 특징짓고 구조화된 출력이 준-인식론적 추론을 지원하는 정도를 보여줍니다. 증강된 원본 훈련 데이터 하위 집합과 같은 다양한 보조 데이터를 사용하면 OOD 감지 및 메트릭 성능이 크게 향상됨을 발견했습니다. 고정된 모델 출력이 모델 오류와 예측 불확실성에 대한 일반화 가능한 잠재 정보를 포함한다는 가설을 검증했습니다. 마지막으로, 기본 모델 예측에만 의존하지 않고 입력 종속 불확실성의 적절한 추정을 유지합니다. 장난감 문제와 UCI 및 깊이 회귀 벤치마크 모두에 적용하여 결과를 보여줍니다.

시사점, 한계점

시사점:
기존 신경망에 사후 불확실성 추정 기능을 추가하는 효율적이고 이론적으로 뒷받침되는 프레임워크를 제공합니다.
모델 매개변수나 기울기에 접근할 필요 없이 불확실성을 추정할 수 있습니다.
다양한 보조 데이터를 활용하여 OOD 감지 및 성능 향상을 달성합니다.
고정된 모델 출력이 모델 오류 및 불확실성 정보를 포함한다는 것을 실험적으로 증명합니다.
입력 종속 불확실성을 적절하게 추정합니다.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.
다양한 유형의 신경망과 응용 분야에 대한 광범위한 실험이 필요합니다.
보조 데이터의 선택이 결과에 미치는 영향에 대한 더 자세한 분석이 필요합니다.
👍