조정효 교수님의 정보기하학과 머신러닝 3부작

머신러닝의 모형은 크게 분류모형과 생성모형으로 구별된다. 이들은 확률을 써서 일반적으로 표현할 수 있다. 분류모형은 입력 \(x\)에 대한 출력 \(y\)를 표현하는 조건부 확률 \(P(y|x; \theta)\)에 해당한다. 여기서 \(\theta\)는 이 확률모형의 매개변수parameter를 뜻한다. 생성모형은 주어진 데이터 \(x\)가 나타날 확률 \(P(x; \theta)\)에 해당한다. 확률모형을 이용해서 확률이 높은 \(x\)를 선택하는 행위가 바로 샘플 생성이 된다. 여기서 이들 확률모형을 그래프로…

지난 글(클릭 시 1편으로 연결)에서 우리는 확률모형 사이의 거리를 어떻게 정의할지 생각해 보았다. 특히 쿨백-라이블러 거리Kullback-Leibler divergence는 일반화된 피타고라스 정리를 만족하고, 투사projection라는 성질도 가지고 있음을 확인하였다. 이번 글에서는 쿨백-라이블러 거리의 또 다른 면모를 소개해 보려고 한다. 충분통계량sufficient statistic이라고 들어 보셨는지? 정해진 확률 \(\theta_0\)과 \(\theta_1\)을 따라 0과 1이 나오는 베르누이 시행을 생각해보자. (1, 1, 0, 1,…

앞선 두 개의 글