퍼셉트론(Perceptron)

1. 퍼셉트론(Perceptron) 

초기의 인경신공망 모형이고 퍼셉트론이 동작하는 방식은 다음과 같다. 각 노드의 가중치와 입력치를 곱한 것을 모두 합한 값이 활성함수에 의해 판단되는데, 그 값이 임계치(보통 0)보다 크면 뉴런이 활성화되고 결과값으로 1을 출력한다. 뉴런이 활성화되지 않으면 결과값으로 -1을 출력한다.

 

${\mathrm{\Sigma }}_i^n{w}_i{x}_i\ge \theta \to y=1$

 

${\mathrm{\Sigma }}_i^n{w}_i{x}_i<\theta \to y=0$

 

y 값이 threshold 인 $\theta$ 을 기준으로 0, 1로 분류한다.

$b$(bias) 로 표기할 때도 있다.

${\mathrm{\Sigma }}_i^n{w}_i{x}_i+b\ge 0\to y=1$

 

${\mathrm{\Sigma }}_i^n{w}_i{x}_i+b<0\to y=0$

${\mathrm{\Sigma }}_i^n{w}_i{x}_i+b$

 

 

input 값$(x_1,x_2,\cdot ,x_i)$과 hidden layer 의 $w$ 를 곱해서 ${\mathrm{\Sigma }}_i^n{w}_i{x}_i+b$ 식이 도출되면 그 결과값을 activity function 을 거치고 나면 y를 출력하게 된다. 

 

---

2. active function

1) step function ( binary function ) - threshold = 0

 

2) sigmoid function

sigmoid function

${\mathrm{\Sigma }}_i^n{w}_i{x}_i\ge \theta \to y=1$

 

${\mathrm{\Sigma }}_i^n{w}_i{x}_i<\theta \to y=0$

 

이 식에서 Threshold ($\theta$) 가 0.5인 그래프다.

0.5를 기준으로 0.5보다 큰 값이 출력되면 1, 작은 값이 출력되면 0을 반환한다.

 

 

3) tanh

tanh

sigmoid function 보다 더 빠르게 움직인다.

 

$sigmoid(x)=\frac{1}{1+e^{-x}}$

 

$tanh(x)=2sigmoid(2x)-1$

 

4) ReLU

퍼셉트론은 기본적으로 Grandient Descent 를 사용하게 되는데 Loss function이 최소가 되는 지점 즉 Loss function의 미분값이 0 이 되는 지점을 찾아야 한다. 하지만 1), 2), 3) 활성함수를 사용할 경우 x의 값이 커지면 미분함수의 기울기가 거의 0에 가까워지므로 결과값에 오류가 생기게 된다. 이럴경우 active function 으로 ReLU function 을 사용하게 된다.  

$max(0,x)$

 

0 이하 값은 모두 0으로 처리하고 0보다 큰 값은 $y=x$ 자기 자신 값을 출력하므로 미분하기에 용이하다.