[Deep Learning] RBF : Radial basis function

RBF는 SVM을 다룰 때도 많이 언급되는 내용이다. 딥러닝에서의 RBF 뉴럴네트워크란 Gaussian basis function을 이용하는 것으로, $\mu$와 $\sigma$를 가지는 정규분포의 선형결합으로 데이터의 분포를 근사하는 것을 의미한다. 일반적인 MLP는 초평면으로 데이터를 분할하지만, RBF 뉴럴네트워크의 경우 각 데이터에 맞는 Kernel function을 이용하기에 비선형적이고, MLP보다 학습이 빠르다.

 

 

저차원 공간에서 선형 분리가 되지 않는 데이터를 분리하고자 하면 고차원으로 확장해 초평면을 도입해 분리하는 등의 형태로 분리할 수 있는데, 이때 저차원 공간의 데이터를 고차원 공간으로 매핑시켜주는 함수가 바로 커널 함수(Kernel function)이다. 커널 함수는 Gaussian basis function이 가장 널리 사용되는 함수이며, Linear kernel, Polynomial kernel, Sigmoid kernel 등 여러 커널 함수가 존재한다. 아무 함수나 커널 함수가 될 수는 없고, L 공간 상의 벡터 x,y가 있다고 할 때 $\text{K}(x,y) = \text{M}(x) * \text{M}(y)$를 만족하는 함수 $\text{M}(\cdot)$이 존재할 때 우리는 이 매핑 함수를 커널 함수로 정의할 수 있다. 즉, 커널 함수의 값과 고차원 공간으로 매핑된 두 점 $\text{M}(x), \text{M}(y)$의 내적이 같아야 한다. 

 

이와 같이 커널 함수를 찾기 위해서는 내적이라는 연산이 필요하다. 그렇기 때문에 내적이 불가능하면 커널 함수를 정의할 수 없다. 다르게 말하면 내적을 사용하는 방법에는 모두 커널 함수를 사용할 수 있다. 이처럼 저차원 공간을 고차원 공간으로 변환시키는 방법을 우리는 '커널 트릭' 이라고 칭한다. 만약 고차원 공간에서의 거리를 계산할 수 없다면, 저차원 공간에서 계산해도 고차원 공간에서의 거리와 동일하게 나타날 것이다.