[Bayesian] Bayesian Deep Learning - Functional analysis

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다.

 

 

핵심 키워드

 Hilbert space, inner product space, Kernel, Eigenfunction, Eigenvalue, Positive semidefinite, Reproducting kernel Hilbert space

 

---

우리가 실수를 계산할 때 어떻게 하는가? 1 + 1 = 2, 2 + 3 = 5 이렇게 된다. 1 + 1 = 2 인건 axiom의 연속들로 이루어져 우리가 1+1 = 2 라는 것을 알게 된다. 우리가 만약 강아지 + 강아지 = 고양이 로 부르기로 약속하고, 그 약속을 지키는 공간을 만들면 그 공간 내에서도 덧셈, 뺄셈, 곱셈 등 연산이 작용할 수 있다. vector space라는 것은 우리가 추상적인 숫자(실제 숫자가 아닌)를 만들고 그 공간 내에서 대수적인 구조를 주는 것이다. 이 공간 속에서는 더하고, 곱할 수 있고, 교환법칙이 성립하는 등 조건들이 존재한다. 단순히 숫자들만 연산할 수 있는 것이 아니라 함수에도 적용할 수 있다. e.g. $2sin(x)$

 

 

 

 

• Vector space 

      space with algebraic structures ( addition, scalar multiplication( $2 * sin(x)$ )  , ... )

      $sin(x) * cos(x)$ 가 아님

 

• Metric space

      space with a metric (distance)  두 개의 원소 및 함수를 입력 받아서 둘 사이의 거리를 출력한다. 

 

• Normed space 

      space with a norm (size)

 

• Inner-product space

      space with an inner-product (similarity) 

 

• Hilbert space

      complete space 우리가 생각할 수 있는 대부분의 수학적 연산을 이 공간내에서는 할 수 있다. 

 

 

 

모든 문제는 infinite에서 생겨난다. 다루고 있는 모든 수들이 유리수의 집합인데 $\pi$를 정의하라고 한다면 궁극적인 그 수에 대한 부분은 표현할 수 없고 그 공간은 complete할 수 없다. 우리가 다룰 공간은 Hilbert space이다

 

 

 

Inner-product 

• Let $\mathcal{H}$ be a vector space over $\mathbb{R}$. A function $\left\langle \cdot,\cdot \right\rangle_{\mathcal{H}}  : \mathcal{H} \times \mathcal{H} \rightarrow \mathbb{R} $ is a inner product on $\mathcal{H}$ if 

      1. Linear : $\left\langle \alpha_{1} f_{1} + \alpha_{2} f_{2}, g\right\rangle_{\mathcal{H}}\ \rightarrow\ \left\langle \alpha_{1}f_{1},g\right\rangle + \left\langle \alpha_{2}f_{2},g\right\rangle$ 

         이 부분을 만족하는 어떠한 operation을 잡으면 내적이 된다. 

      2. Symmetric $\left\langle f,g\right\rangle_{\mathcal{H}}\ =\ \left\langle g, h\right\rangle_{\mathcal{H}} $

         두 값을 바꾸어도 내적이 되어야 한다.

      3. $\left\langle f,f\right\rangle_{\mathcal{H}}\ \ge 0 $ and\ $\left\langle f,f\right\rangle_{\mathcal{H}} = 0 $ if and olny if $f = 0$

      4. Note that norm can be naturally defined from the inner product:

$||f||_{\mathcal{H}} \triangleq \sqrt{\left\langle f,f\right\rangle_{\mathcal{H}}} $ 

         당연히 inner product가 정의되면 norm을 정의할 수 있고, norm을 정의할 수 있으면 metric을 정의할 수 있다.

 

 

 

 

Hilbert space

inner product space containing Cauchy sequence limits.

Cauchy sequence : 점과 점사이의 거리가 가까워지는 수열

$ \Rightarrow $ Complete space

$ \Rightarrow $ Always possible to fill all the holes.

$ \Rightarrow $ $\mathbb{R}$ is complete, $\mathbb{Q}$ is not complete.

 

유리수가 들어가되면 유리수는 무리수를 표현할 수 없으니 공간이 complete할 수 없다. 

 

 

 

Kernel

Let $\mathcal{X} \neq \emptyset $ A function k : $ \mathcal{X} \times \mathcal{X}\ \rightarrow\ \mathbb{R}$ is a kernel

if $\exists$ a Hilbert space $\mathcal{H}$ a map $\phi\ :\ \mathcal{X} \rightarrow \mathcal{H}$ such that $ \forall x, x^{\prime} \in \mathcal{X} $

 

$k(x,x^{\prime}) \triangleq \left\langle \phi(x),\phi(x^{\prime})\right\rangle_{\mathcal{H}} $

 

kernel은 생각보다 loose하다 어떤 non-empty set이 있으면 된다. 그리고 kernel의 input으로 들어가는건 non-empty set의 elementry. 말그대로 set만 있으면 된다. set에 있는 element를 inner-product가 정의되어 있는 $\mathcal{H}$로 보내는 $\phi$라는 함수만 있으면 된다. 

kernel의 입력으로 들어가는 것들에는 어떠한 조건도 존재하지 않는다. 

• Sum of kernels or product of kernels are also a kernel.
• Kernels can be defined in terms of sequences in $\phi \in \mathbf{I}_{2}, i.e.\ \Sigma^{\infty}_{i=1}\phi^{2}_{i}(x) \le \infty $

 

• Theorem 
  
  • Given a sequence of functions $\{ \phi_{i}(x)\}_{i \ge 1} \in \mathbf{I_{2}} $ where $\phi_{i}\ :\ \mathcal{X}\ \rightarrow\ \mathbb{R} $ is the i-th coordinate of $\phi(x)$. Then

$k(x,x^{\prime}) \triangleq {\underset{i=1}{\overset {\infty} \Sigma}} \phi_{i}(x)\phi^{i}(x^{\prime}) $

 

 

kernel이 일반적으로 linear하게는 나눌 수 없는 문제를 더 큰 공간인 $\phi$로 보내서 2차원 3차원 더 높은 공간 상에서 나누어 주기때문에 separate해줄 수 있다.  이진분류를 생각해보자. 이진분류는 머신러닝에서 shatter라고 표현을 한다. 입력공간에 빨간공, 파란공으로 있다고 가정하고 우리는 그 공을 빨간공, 파란공으로 나누고 싶은 상황이다. 우리가 가지고 있는 것이 선 하나라면 2차원일 경우에만 나눌 수 있다. 2차원에서 shatter할 수 없을 때 우리가 kernel을 이용해서 이 2차원들의 공들을 3차원으로 올리게 되면 혹은 무한차원으로 올리게 되면 선형 분리기를 통해서 항상 shatter할 수 있다. 그렇기 때문에 kernel function을 통해서 분류를 하게 되면 항상 분류를 다 할 수 있다. 이것이 kernel method의 정당성이다. 하지만 그 분류가 가지고있는 셋에서만 정확도가 높다. 새로운 데이터 셋에 대해 가능하다는 뜻은 아님.