[Bayesian] Bayesian Deep Learning - Random variable

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다.

 

핵심키워드

$Random\ Variable,\ Probability\ space,\ Probability\ density\ function,\ Correlation\ analysis$

 

 

Random Variable

---

- random variable:

  우리에게 관측되는 실수로 가는 어떤 함수가 random variable 이다 . subset이 아니라 하나의 원소

  probability space : $ (\Omega, \mathcal{A}, P) $ , Borel measurable space $(\mathbb{R}, \mathcal{B})$

실수들로 이루어진 $\sigma$-field를 Borel measurable space 라고 한다 

  

$ X : \Omega \rightarrow \mathbb{R} $ such that $\forall B \in \mathcal{B}, X^{-1}(B) \in \mathcal{A} $

 

 

random variable is $f$

여기서 random은 무엇인가? $\rightarrow$ sample space에서 하나를 뽑는 것

 

가상의 sample space에서 하나를 고른 후 값이 나오는 것을 realization이라고 부른다. $X(w)$ $w \in \Omega$

realization == gausian sampling, uniform sampling 

$X$라는 random variable 통해서 나올 수 있는 realization set을 alphabet이라고 한다 .

e.g. 주사위게임 에서의 alphabet : [1, 2, 3, 4, 5, 6]

 

$P(X \in B) \triangleq P(X^{-1}(B)) = P(\{w : X(w) \in B \}) $

 

discrete random variable : There is discrete set $\{ x_{i} : i = 1, 2,... \} $ such that $\Sigma  P(X=x_{i})$ = 1

probability mass function : $p_{x}(x) \triangleq P(X=x) $ that satisfies

1. 0 $ \le p_{x}(x) \le $ 1

2. $\Sigma_{x}p_{x}(x)$ = 1

3. $P(X \in B) = \Sigma_{x \in B}p_{x}(x) $

 

이러한 가정들로 인해 확률론이 시작되었다. 

probability allocation function, probability mass function

EX $\triangleq \Sigma_{x}x p_{x}(x), discreteX $

EX $\triangleq \int^{\infty}_{\infty}x f_{x}(x)dx, continuousX $

 

Conditional expectation E(X|Y)

random variable인 X의 E(X)는 평균치 하나로 출력이 되기 때문에 random variable이 아니다. 하지만 E(X|Y)의 경우 Y라는 variable로 인해 E(X|Y) 는 random variable이 된다. X와 Y에 대한 $\sigma$-field가 다르면 하나가 주어졌다고 하더라도 다른 하나의 면적을 계산하기가 참 애매해진다. measure를 정의할 수 없기 때문. 조심하자.