Object Function, Cost Function, Loss Fuction

우리가 딥러닝(Deep Learning)을 다루다 보면 목적 함수(Object Function), 비용 함수(Cost Function), 손실 함수(Loss Function)이라는 단어를 많이 접하게 될 것이다. 일반적으로 언급한 세 가지의 함수가 동일하다고 알고 있는데, 일부는 맞고 일부는 틀렸다고 할 수 있다. 

 

목적 함수(Object Function)

목적 함수는 말그대로 어떠한 목적을 가지고 모델을 학습해 최적화하고자 하는 함수이다. 일반적으로 딥러닝에서는 경사 하강법(Gradient Descent) 방식을 사용하여 최적화하기 때문에 비용 함수가 바로 목적 함수가 된다. 하지만 MLE(Maximum Likelihood Estimate)와 같이 확률을 최대로 하는 방법을 사용할 경우에 감소하는 방식이 아닌 최대로 하는 방법을 할 때는 비용 함수가 아닌 목적 함수로 언급해야 한다. 

 

비용 함수(Cost Function)

비용 함수는 입력으로 받은 데이터를 모아서 오차를 계산하는 함수를 일컫는다. 입력으로 들어온 데이터를 기반으로 모든 데이터의 비용을 계산하는 방식이다. 풀 배치 형태로 한 번에 입력을 받아 계산하는 방식이다.

 

손실 함수(Loss Function)

손실 함수는 입력으로 받은 데이터를 하나하나 받아 실제값과 예측값 간의 오차를 계산하는 방식이다. 입력으로 받은 데이터를 하나씩 모두 오차를 계산하는 방식인 경우를 손실 함수라 부른다. 손실 함수를 $\Sigma$를 통하여 나타낸다면 이는 바로 비용 함수라고도 할 수 있다. 

 

결론 : 목적 함수 $\ge$ 비용 함수 $\ge$ 손실 함수