신경망 훈련에 사용되는 손실 함수는 통계적 관점에서 출력 레이어와 강력하게 연결되어 있습니다. 이 기술 보고서는 선형, 시그모이드, ReLU, 소프트맥스와 같은 신경망 출력 레이어에 대한 일반적인 활성화 함수를 분석하고, 수학적 속성과 적절한 사용 사례를 자세히 설명합니다. 딥러닝 모델 훈련에 적합한 손실 함수를 선택하는 데는 강력한 통계적 근거가 있습니다. 이 보고서는 평균 제곱 오차(MSE), 평균 절대 오차(MAE) 및 다양한 교차 엔트로피 손실과 같은 일반적인 손실 함수를 최대 우도 추정(MLE)의 통계적 원리에 연결합니다. 특정 손실 함수를 선택하는 것은 모델 출력에 대한 특정 확률 분포를 가정하는 것과 같으며, 이러한 함수와 네트워크 출력 레이어의 기반이 되는 일반화 선형 모델(GLM) 간의 연결을 강조합니다. 대체 출력 인코딩, 제한된 출력 및 헤비 테일 분포와 같은 추가적인 실질적인 관심 시나리오도 고려됩니다.
