[Statisctics] Maximum Likelihood Estimate

MLE란?

---

Maximun Likelihood method라고도 불리며, 최대우도법이라고 한다. 어떤 사건이 일어날 가장 높은 확률 값을 찾는 것이라고 볼 수 있다. 어떤 모수 $\theta$로 결정되는 확률변수의 모임 $D_{\theta }=(X_1,X_2,...,X_n)$이 있고, $D_{\theta }$ 의 확률변수가 $f$라고하면 $f$에 대해서 가능도 ${\mathcal{L}}_{\theta }$는 다음과 같이 표현할 수 있다.

 

${\mathcal{L}}_{\theta }=f_{\theta }(x_1,x_2,...,x_n)$

$\hat{\theta }=\underset{\theta }{\text{argmax}\mathcal{L}\mathcal{(}\theta \mathcal{)}}$

 

만약 $X_1,X_2,...,X_n$이 모두 independent 하고 같은 확률분포를 가진다면 $\mathcal{L}(\theta )=\underset{i=1}{\prod ^N}{f}_{\theta }(x_i)$ 로 표현이 가능하다. 그리고 위 값을 계산하기 편하게 하기 위하여 log값을 취하게 된다. ( log를 취해주게 되면 곱 형태가 덧셈형태로 변형되기 때문에 계산하기 용이하다 )

 

Deep Learning 에서는 MLE를 가지고 Cross Entropy를 계산하거나 -1 을 곱해주어서 최소값을 찾는 Loss function으로도 사용한다. ( input value 가 이산형일 경우 사용을 한다. 연속형일 경우는 GD )

- cross Entropy, Gradient Descent 는 다음에 다뤄보도록..

 

예제 1 : Binomial

 

$X\sim B(n,\theta )$ 라고 하자. $f_{\theta }(x_i)=(\genfrac{}{}{0ex}{}{n}{k}){\theta }^k(1-\theta {)}^{n-k}$ 가능도 함수는 $\mathcal{L}(\theta )$는 $\mathcal{L}(\theta )=\underset{i=1}{\prod ^N}{f}_{\theta }(x_i)$ 가 된다.

$\hat{\theta }=\underset{\theta }{\text{argmax}\mathcal{L}\mathcal{(}\theta \mathcal{)}}=\underset{\theta }{\text{argmaxln}\mathcal{L}\mathcal{(}\theta \mathcal{)}}$ , $\text{ln}\mathcal{L}(\theta )$가 max가 되는 $\theta$를 찾으면 된다.

 

$\frac{\partial }{\partial \theta }(\text{ln}((\genfrac{}{}{0ex}{}{n}{k}){\theta }^k(1-\theta {)}^{n-k}))$

 

= $\frac{\partial }{\partial \theta }(\text{ln}(\frac{n!}{k!(n-k)!}+\text{ln}({\theta }^k)+\text{ln}({(1-\theta )}^{n-k}))$ 

 

= $\frac{k}{\theta }+\frac{n-k}{\theta -1}$ = 0 

 

 $k(\theta -1)+(n-k)\theta =0$

 

$k\theta -k+n\theta -k\theta =0$

 

$i.e.\theta =\frac{k}{n}$

 

 

예제 2 : Gaussian distribution

위와 동일한 방법으로 진행할 것이다. 가우시안 분포에 변수는 $\mu$와 $\sigma$가 있기 때문에 $\mu$,$\sigma$에 대해 각각 최댓값을 찾을 수 있는 식을 구할 수 있다.

 

$f_{\theta }x=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

 

  $\mathcal{L}(\theta )=\underset{i=1}{\prod ^N}\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}$

 

 $\text{ln}\mathcal{L}(\theta )=\mathrm{\Sigma }\text{ln}(\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}})$

 

= $\mathrm{\Sigma }(\text{ln}(\frac{1}{\sqrt{2\pi {\sigma }^2}})+\text{ln}(e^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}))$

 

= $\text{ln}(\frac{n}{\sqrt{2\pi {\sigma }^2}})-\mathrm{\Sigma }\frac{(x_i-\mu {)}^2}{2{\sigma }^2}$

 

 

$\frac{\partial \mathcal{L}}{\partial \mu }\text{ln}(\mathcal{L}(\theta ))=\frac{\partial }{\partial \mu }(\text{ln}(\frac{n}{\sqrt{2\pi {\sigma }^2}})-\mathrm{\Sigma }\frac{(x_i-\mu {)}^2}{2{\sigma }^2})$

 

= $\mathrm{\Sigma }\frac{1}{{\sigma }^2}(x_i-\mu )=0$

 

$i.e.\hat{\mu }=\frac{\mathrm{\Sigma }{x}_i}{n}$

 

 

 

$\frac{\partial \mathcal{L}}{\partial \sigma }\text{ln}(\mathcal{L}(\theta ))=\frac{\partial }{\partial \sigma }(\text{ln}(\frac{n}{\sqrt{2\pi {\sigma }^2}})-\mathrm{\Sigma }\frac{(x_i-\mu {)}^2}{2{\sigma }^2})$

 

= $-\frac{n}{\sigma }+\frac{1}{{\sigma }^3}\mathrm{\Sigma }(x_i-\mu {)}^2$ = 0

 

$i.e.\widehat{{\sigma }^2}=\underset{i=1}{\stackrel{N}{\mathrm{\Sigma }}}\frac{(x_i-\mu {)}^2}{n}$