ok-lab

베이즈 규칙을 알아보기 전 우리가 기본적으로 알아야할 개념들부터 짚고 넘어가자. 우리는 일반적으로 확률을 지칭할 때 $p(A)$형태로 표현을 한다. 이 확률값은 $ 0\le p(A) \le 1$의 값을 지녀야한다. 그리고 결합확률(Joint Probability)은 일반적으로 $p(A \cap B)\ or\ p(AB) $ 로 표기하며 일부 책에서는 $ A \rightarrow B$라고 표기하기도 한다. 여기에서는 일반적으로 표기하는 방법을 사용할 것이다. 결합 확률과 독립 확률에서의 독립이라는 개념은 두 값이 떨어져있다라는 개념으로 받아들이면 큰 문제가 생긴다. 확률에서의 독립이란, 두 사건 사이에 아무런 연관성이 없다는 뜻이며 사건 A가 일어나는 것과 사건 B가 일어나는 것이 서로 관련이 없다는 뜻이다..

edwith 주재걸 교수님의 강의를 참고했다. Transformation 을 다루기 전에 기본적으로 알아야할 개념들 먼저 알아보자. Domain : 정의역이라고 하며 x의 모든 값 Codomain : 공역 Image : x가 주어졌을 때 mapping되는 y를 지칭 Range : 치역 함수는 아래의 화살표 관계에서 정의역의 하나의 원소에 대해 딱 하나의 값으로만 매핑되어야 한다. 그리고 정의역 내의 x값은 모두 Codomain에 속해있어야 한다. image가 하나가 아니라면 함수라고 부를 수 없다. x는 항상 unique하게 define 된다. Linear Transformation은 무엇인가? 어떤 Function 혹은 mapping이 Linear라고 한다면 아래의 조건을 만족할 때 Linear Tra..

edwith 주재걸교수님의 강의자료를 참고했다. Subspace Span이라는 개념과 거의 유사하다. subspace는 $\mathbb{R^{n}}$의 부분집합이고, Linear combination에 닫혀있는 것으로 정의할 수 있다. 닫혀있다라는 개념에 대해서 한 번 짚고 넘어가자. 예를 들어 $\{2\} \in S$ 라는 집합이 존재하고 $S$ 가 곱셈에 대해서 닫혀있다라고 하자. 그럼 $S$의 element를 뽑아서 연산을 수행했을 때 그 연산의 값이 $S$에 항상 속해있으면 곱셈에 대해서 닫혀있다라고 한다. [ 2x2 = 4 $\in S$ ] subspace에 속해있는 어떠한 벡터에 선형결합을 하더라도 그 벡터들도 역시 subspace안에 속하게 된다. Span 안에 $ \begin {bmatri..

edwith 주재걸교수님의 강의를 참고하였다. 핵심키워드 $Linear\ Independence\ and\ Linear\ Dependence\ Sub\ space $ 일단 우리는 $b \in Span\{a_{1},a_{2},a_{3}\} $ 라고 하자. 그러면 $b$가 Span 안에 들어오게 되며, solution을 가지게 된다. 그럴 때 이 solution은 unique한 것일까? 1. $a_{1},a_{2}\ and\ a_{3}$가 Linear Independence 라면 값은 unique하다. 2. $a_{1}, a_{2}\ and\ a_{3}$가 Linear Dependence 라면 solution은 매우 많은 값을 가지게 된다. 무수히 많은 해를 가진다는 말은 어떤 뜻일까? 우리는 각각의 재료 ..

edwith 주재걸교수님의 강의자료를 참고했다. 선형 결합은 어떤 것일까? Linear Combination은 각각의 vector ( $v_{1},v_{2},...,v_{p} \in \mathbb{R^{n}} $ )가 주어지고, scalar ( $c_{1},c_{2},...,c_{p} $ ) 가 주어졌을 때 $c_{1}v_{1} + c_{2}v_{2} + ... + c_{p}v_{p} $ 형태를 vector와 weight 혹은 coefficient 간의 Linear Combination 혹은 선형 결합이라고 부른다. 선형 결합에서의 weight는 실수들만을 다루게 되고 당연히 0도 포함할 수 있다. 만약 기존 vector가 3차원이라면 선형 결합을 한 vector 역시 3차원으로 반환된다. 이전에 다루었..

edwith 주재걸 교수님 강의 자료를 참고하였습니다. Linear Equation 선형 방정식은 우리에게 주어진 $x_{1}, x_{2},...x_{n}$의 변수들이 주어지고 그 변수들의 계수와 결합하여 어떠한 상수를 나타내는 식이다. $ a_{1}x_{1} + a_{2}x_{2} + ... + a_{n}x_{n} = b $ $b$는 상수고, $x$에 곱해진 값들을 계수, coefficient라고 한다. 위 방정식을 선형대수의 관점으로 본다면 inner-product로 본다면 row vector와 column vector의 형태로 나타낼 수 있게 된다. $a^{T}x = b$ Linear System : Set of Equations 연립 방정식을 의미한다. feature 들과 feature에 해당하는..

edwith 주재걸 교수님 강의 자료를 참고하였습니다. 선형대수에서 사용하는 용어는 여기를 참고하면 된다. scalar는 말그대로 하나의 숫자의 형태를 말한다. Vector의 경우는 order가 정해져 있는 array라고 바라본다. order가 정해져있지 않는 array는 set이라고 한다. order가 정해져 있다는 말은 아래의 예시를 볼 때 첫번째 차원의 값이 1 두 번째 차원의 값이 0 이런 식으로 order가 주어져 있다고 말한다. vector라는 것은 한 방향으로만 존재하는 배열이다. 그 경우 column vector와 row vector가 존재한다. matrix의 경우 가로 세로 형태로 값이 존재하고, 가로를 row, 세로를 column이라고 얘기한다. defualt로는 column vecto..

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심 키워드 Hilbert space, inner product space, Kernel, Eigenfunction, Eigenvalue, Positive semidefinite, Reproducting kernel Hilbert space 우리가 실수를 계산할 때 어떻게 하는가? 1 + 1 = 2, 2 + 3 = 5 이렇게 된다. 1 + 1 = 2 인건 axiom의 연속들로 이루어져 우리가 1+1 = 2 라는 것을 알게 된다. 우리가 만약 강아지 + 강아지 = 고양이 로 부르기로 약속하고, 그 약속을 지키는 공간을 만들면 그 공간 내에서도 덧셈, 뺄셈, 곱셈 등 연산이 작용할 수 있다. vector ..

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심 키워드 $Random\ process,\ Realization\ , 브라운운동(Brownian\ motion),\ Mean,\ Covariance,\ Kernel\ function,\ Stationariy $ Random Process random process는 random variable의 확장판이라고 생각하면 된다. random variable 에서 sampling을 할 때 가우시안 분포에서는 하나 씩 도출되지만 멀티 가우시안, GAN에서 사용하는 여러 차원의 가우시안, 무한차원의 가우시안 분포를 정의하기 위해 random process를 사용한다. random process를 함수들의 공간..

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심키워드 $Random\ Variable,\ Probability\ space,\ Probability\ density\ function,\ Correlation\ analysis$ Random Variable - random variable: 우리에게 관측되는 실수로 가는 어떤 함수가 random variable 이다 . subset이 아니라 하나의 원소 probability space : $ (\Omega, \mathcal{A}, P) $ , Borel measurable space $(\mathbb{R}, \mathcal{B})$ 실수들로 이루어진 $\sigma$-field를 Borel meas..