Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Soft-Label Training Preserves Epistemic Uncertainty

Created by
  • Haebom
Category
Empty

저자

Agamdeep Singh, Ashish Tiwari, Hosein Hasanbeig, Priyanshu Gupta

개요

본 논문은 기계 학습 작업에서 주관성이 내재되어 있어, 다양한 레이블이 생성되는 상황에서, 단일 레이블로 축약하는 기존 방식의 문제점을 지적한다. 저자들은 주석 분포 자체를 정답으로 간주하고, 소프트 레이블 학습을 통해 모델이 인식적 불확실성을 보존해야 한다고 주장한다. 실험 결과, 소프트 레이블 학습은 하드 레이블 학습과 동일한 정확도를 유지하면서도, 인간 주석과의 KL 발산은 32% 감소하고 모델 엔트로피와 주석 엔트로피 간의 상관 관계는 61% 향상되었다.

시사점, 한계점

시사점:
주석 분포를 불확실성을 나타내는 충실한 표현으로 간주하여 모델이 이를 학습하도록 유도.
소프트 레이블 학습을 통해 모델의 불확실성 표현 능력을 향상시키고, 인간 주석과의 일관성을 높임.
비전 및 NLP 작업에서 소프트 레이블 학습의 효과를 입증.
한계점:
논문에서 구체적인 작업, 데이터셋, 방법론의 자세한 내용은 제시되지 않음.
소프트 레이블 학습이 모든 경우에 적용 가능한지에 대한 추가 연구 필요.
모델의 성능 향상이 실제 문제 해결에 미치는 영향에 대한 추가 분석 필요.
👍