ok-lab

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심키워드 $Random\ Variable,\ Probability\ space,\ Probability\ density\ function,\ Correlation\ analysis$ Random Variable - random variable: 우리에게 관측되는 실수로 가는 어떤 함수가 random variable 이다 . subset이 아니라 하나의 원소 probability space : $ (\Omega, \mathcal{A}, P) $ , Borel measurable space $(\mathbb{R}, \mathcal{B})$ 실수들로 이루어진 $\sigma$-field를 Borel meas..

Training Neural Network Transfer learning을 진행할 때 고려할 점. 1) Pre-train data와의 이질성 2) Finetuning할 데이터의 양 3) 분석에 할당된 시간 4) 가용한 hardware ... 하나의 layer에서 activation function으로 들어가게 되는데 layer의 값은 $\Sigma w_{i}x_{i} + b$로 선형조합으로 나타낼 수 있다. 그 선형조합을 비선형조합의 activation function으로 넣게 된다. 만약 activation function 자체가 linear라고 생각해보면 layer를 stacking 하는 것 자체가 의미가 없어진다. 왜냐하면 linear function을 activate function으로 사용하게..

경사법 ( 경사 하강법 ) 신경망에서 최적의 매개변수를 학습 시에 찾아야 한다. 최적이란 손실 함수가 최솟값이 될 때의 매개변수 값이다. 하지만 매개변수의 공간이 광대하여 최솟값을 찾는데에 있어 어려움이 있기 때문에 경사하강법을 사용하여 최솟값을 찾으려고 한다. 하지만 그 기울기가 가리키는 곳에 정말 함수의 최솟값이 있는지 보장할 수 없다(안장점). 실제로 복잡한 함수에서는 기울기가 가리키는 방향에 최솟값이 없는 경우가 대부분이다. 경사법은 현 위치에서 기울어진 방향으로 일정 거리만큼 이동하는 것을 말한다. 그런 다음 이동한 곳에서 다시 기울기를 구하고, 또 기울어진 방향으로 나아가기를 반복한다. 이 방법은 특히 신경망 학습에 많이 사용된다. $x_{0} = x_{0} - \eta {\partial f ..

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심 키워드 $Probability$, $Sample\ space$, $Random\ experiment$, $Probability\ mass\ function$, $Bayes' Theorem$, $Expectation$ Probability 공정한 주사위 게임을 예로 들어보자. $\sigma$-field 는 power set이 될 것이고, subset은 $A$가 될 것이다. 여기서 주사위가 1이 나올 확률은 얼마인지 정의할 수 있어야 하고, 1이 나오거나 6이 나올 확률, 주사위가 1~5 사이에 하나가 나올 확률이 얼마인가에 대해서 정의할 수 있어야한다. 모든 가능한 조합을 표현할 수 있어야 하기 때..

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심 키워드 $Measure theory$, $Measure$ , $Set\ function$, $Sigma\ field$, $Measurable\ space$ Measure Theory ($e.g.$ 몸무게, 나이 등 ) set function : a function assigning a number of a set ( $e.g.$ cardinality , length , area ) $set$을 2차원 공간이라고 친다면, 그 공간 사이에서 원을 그렸을 경우 원 안의 면적을 재는 것. $\sigma$-field $\mathcal{B}$ : a collection of subsetsof $U$ such..

본 자료는 edwith 최성준님이 강의하신 Bayesian Deep Learning 강의를 참고하였다. 핵심 키워드 $Set\ theory,\ Set,\ Element,\ Cardinality,\ Countable,\ Function,\ Mapping $ Set theory $set$ / $element$ / $subset$ / $universal\ set$ / $set\ operations$ 대학교로 예를 들자면, $set$은 대학교를 지칭하고, 교수님, 자연계열 학생, 공대생 등등 그러면 $element$는 각 사람들에 해당하는 것이 될 것이고, $subset$은 수학과, 기계공학과 등 학과별 집합이 된다. $universal\ set$은 학교 내에 포함되는 모든 사람이라 볼 수 있다. $set\ o..

Backpropagation 이 왜 Neaural Network에서 중요할까? Backpropagation 은 어떤 함수의 gradient를 계산하는 방식이다. chain rule를 recursively( 재귀적으로 ) 적용을 하고, 이러한 계산 방식이 computational 하다고 할 수 있다. backpropagation을 하는 가장 주된 목적은 parameter를 updata하기 위함이다. parameter를 update 하면서 가장 최적의 parameter를 찾는 것이 궁극적인 목적이기 때문이다. 부수적으로는 학습한 NN을 시각화하고 해석하기 위함이다. NN 이라는 것은 하나의 함수라고 지칭할 수 있다. 만약 SVM을 이라면 convex optimization을 활용하여 단 한 번의 optimu..

앞 내용에 이어서 이번에는 Loss function 중에서 softmax를 다뤄볼 것이다. 각 score를 확률값으로 바라볼 수 있을 것이다. $P(Y\ =\ k\ |X\ =\ x_{i})$ 는 $X=x_{i}$일 때 $Y = k$로 k라는 class에 속할 확률값을 찾는 것이며, 이러한 값이 Likelihood가 된다. $\Sigma_{j}e^{sj}$ = 모든 score의 합 $e^{sk}$ 는 k class 의 score Maximize loglikelihood는 가장 최대가 되는 값을 찾는 것이기 때문에 그 값에 대해 -1 을 곱해줘서 최솟값을 찾는 loss function 으로 만들 수 있다. 그리고 MLE는 각 확률값을 곱하여 도출하는데 이 부분에서 log를 취해주면 곱을 덧셈으로 바꿀 수 있..

image를 분류하는 과정에서 여러가지 문제점이 발생할 수 있다. 1. Camera pose : 카메라의 위치에 따라서 image의 값들이 달라질 수 있다. 2. illumination : 조명에 의해 색이 바뀌는 문제가 발생할 수 있다. 3. Deformation : 원래 형상이 아닌 다른 형상으로 image가 생성될 수 있다. 4. Occlusion : 일부가 없어져 보일 수 있다. 5. Background clutter : 배경과 분류하고자 하는 image가 비슷하여 구분하기가 어려울 수 있다. 6. intraclass variation : 같은 종류의 image라도 색상, 모양 등이 다름에서 문제가 발생할 수 있다. 이번 파트에서는 우리가 작성한 score function 이 얼마나 데이터를 잘 ..

cs231n의 강의 chapter2에 대한 내용을 요약, 정리할 것이다. 이 장에서는 image classification이 어떤 것인지에 대해서 알아보고, 어려운 점이 생기는 이유와 K-NN기반, Linear기반 이미지 분류에 대해서 다룰 것이다. 이미지는 RGB 3층의 구조를 가지고 있다고 보면된다. ( 3차원의 array ) [ 0, 255 ] 값의 integer 형태를 가지고 있다. 일반적으로 구조적 데이터나 비 구조적 데이터를 input 값으로 가진 후 classification을 하면 class 1 or class 2 와 같은 output 형태를 가졌는데, input 값이 구조적, 비 구조적 데이터가 아닌 image를 input 으로 넣으면 cat or dog 형태로 출력이 되는 것이다. Ch..