ok-lab

RBF는 SVM을 다룰 때도 많이 언급되는 내용이다. 딥러닝에서의 RBF 뉴럴네트워크란 Gaussian basis function을 이용하는 것으로, $\mu$와 $\sigma$를 가지는 정규분포의 선형결합으로 데이터의 분포를 근사하는 것을 의미한다. 일반적인 MLP는 초평면으로 데이터를 분할하지만, RBF 뉴럴네트워크의 경우 각 데이터에 맞는 Kernel function을 이용하기에 비선형적이고, MLP보다 학습이 빠르다. 저차원 공간에서 선형 분리가 되지 않는 데이터를 분리하고자 하면 고차원으로 확장해 초평면을 도입해 분리하는 등의 형태로 분리할 수 있는데, 이때 저차원 공간의 데이터를 고차원 공간으로 매핑시켜주는 함수가 바로 커널 함수(Kernel function)이다. 커널 함수는 Gaussian..

Multi-layer Perceptron (MLP) 단층 퍼셉트론은 Linear - model 이다. ( logistic, Multiple linear regression, ...) 선형 모델은 식의 복잡도가 낮은 것이 한계점이다. 복잡도가 낮기 때문에 좋은 예측 성능을 찾아내기 힘들다. (단, 설명변수와 종속변수 간의 관계가 선형이 아닐경우) 기존의 단층 퍼셉트론에서 XOR을 할 경우 모델을 정확하게 구분하기에 어려움을 겪었다. 선을 하나만 그어서는 문제가 발생하기 때문에 선을 여러개를 그어서 합치자 라는 것이 Multi-layer Perceptron (MLP)의 개념이라고 할 수 있다. 복잡한 문제를 바로 풀 수 없다면 분해하여 각각을 구분하는 것이다. 왼쪽 하단의 점을 구분할 수 있는 퍼셉트론을 하..