[Bayesian] Bayesian Deep Learning - Random variable

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다.

 

핵심키워드

$RandomVariable,Probabilityspace,Probabilitydensityfunction,Correlationanalysis$

 

 

Random Variable

---

- random variable:

  우리에게 관측되는 실수로 가는 어떤 함수가 random variable 이다 . subset이 아니라 하나의 원소

  probability space : $(\mathrm{\Omega },\mathcal{A},P)$ , Borel measurable space $(\mathbb{R},\mathcal{B})$

실수들로 이루어진 $\sigma$-field를 Borel measurable space 라고 한다 

  

$X:\mathrm{\Omega }\to \mathbb{R}$ such that $\mathrm{\forall }B\in \mathcal{B},X^{-1}(B)\in \mathcal{A}$

 

 

random variable is $f$

여기서 random은 무엇인가? $\to$ sample space에서 하나를 뽑는 것

 

가상의 sample space에서 하나를 고른 후 값이 나오는 것을 realization이라고 부른다. $X(w)$ $w\in \mathrm{\Omega }$

realization == gausian sampling, uniform sampling 

$X$라는 random variable 통해서 나올 수 있는 realization set을 alphabet이라고 한다 .

e.g. 주사위게임 에서의 alphabet : [1, 2, 3, 4, 5, 6]

 

$P(X\in B)\triangleq P(X^{-1}(B))=P(\{w:X(w)\in B\})$

 

discrete random variable : There is discrete set $\{x_i:i=1,2,...\}$ such that $\mathrm{\Sigma }P(X=x_i)$ = 1

probability mass function : $p_x(x)\triangleq P(X=x)$ that satisfies

1. 0 $\le p_x(x)\le$ 1

2. ${\mathrm{\Sigma }}_x{p}_x(x)$ = 1

3. $P(X\in B)={\mathrm{\Sigma }}_{x\in B}{p}_x(x)$

 

이러한 가정들로 인해 확률론이 시작되었다. 

probability allocation function, probability mass function

EX $\triangleq {\mathrm{\Sigma }}_{x}x{p}_x(x),discreteX$

EX $\triangleq {\int }_{\mathrm{\infty }}^{\mathrm{\infty }}x{f}_x(x)dx,continuousX$

 

Conditional expectation E(X|Y)

random variable인 X의 E(X)는 평균치 하나로 출력이 되기 때문에 random variable이 아니다. 하지만 E(X|Y)의 경우 Y라는 variable로 인해 E(X|Y) 는 random variable이 된다. X와 Y에 대한 $\sigma$-field가 다르면 하나가 주어졌다고 하더라도 다른 하나의 면적을 계산하기가 참 애매해진다. measure를 정의할 수 없기 때문. 조심하자.