[Statistics] AIC(Akaike information criterion)

데이터가 주어졌을 때 우리가 구축한 모델이 데이터를 제대로 설명하는지 확인할 필요가 있다. AIC(Akaike information criterion)은 모델을 평가하는 지표 중 하나로 최소의 정보 손실을 갖는 모델이 가장 데이터와 적합만 모델로 선택하는 방법이다. 즉, 변수의 수는 적고, 이 변수들로 나타낼 수 있는 설명력은 높아야 한다는 것이다. 일반적으로 데이터를 구성하는 변수가 많으면 많을수록 과적합(Overfitting) 문제가 발생한다. 또한 많은 양의 데이터가 요구된다. 따라서, 최소한의 변수들로 모델을 구성해 과적합을 방지할 뿐만 아니라 불필요한 변수를 반영하지 않음으로써 모델의 설명력을 확보할 수 있다. 

$$\text{AIC}=-2\text{ln}(L)+2k$$

이때 $-2\text{ln}(L)$은 적합도를 의미한다. $L$은 Likelihood function을 의미하며, 높으면 높을수록 좋은 수치를 의미한다. AIC에서는 -2가 곱해져 있기 때문에 낮으면 낮을수록 좋다는 것을 의미한다. $k$는 모델의 파라미터 수를 의미한다. 해당 모형의 파라미터 수가 증가하면 그에 맞게 패널티를 주기 위함이다. Likelihood에 대한 수식은 여기를 참고!

 

변수가 추가되더라도 $-2\text{ln}(L)+2k$ 즉 AIC가 큰 폭으로 감소하지 않는다면 굳이 추가하지 않아도 되는 변수를 의미하며, 연구자의 판단하에 변수를 제거하는 등의 조치를 취할 수 있을 것이다. AIC는 모델을 신뢰할 수 있는가? 에 대한 관점으로 바라보는 것이며, 매우 중요한 평가지표이기에 인지하고 갈 필요가 있다. 

 

딥러닝에서는 주로 사용되지 않는 평가지표이고, AIRMA, Linear Regression과 같은 통계 모델에서 주로 사용된다.