ok-lab

Contents 미분 방정식은 딥러닝에서 중요한 방정식 중 하나이다. 딥러닝의 기본 원리는 경사 하강법을 통해 우리가 알 수 없는 함수를 근사하여 최적의 값을 찾는 방식으로 학습한다. 이때 경사 하강법은 미분을 통해 계산되며, 1계 도함수를 이용하여 역전파 알고리즘을 수행하기 때문에 미분 방정식의 개념에 대해서는 숙지하고 있어야 한다. 그렇다면, 이번 목차에서는 미분 방정식의 종류와 근사해법에 대해서 알아보자. 변수분리형 방정식 미지의 함수와 그 도함수들로 구성된 식을 미분방정식이라 부르며, 특히 1변수 함수에 대한 미분으로 표현된 식을 상미분방정식, 다변수 함수에 대한 편미분으로 표현된 식을 편미분방정식이라 분류한다. 실제 딥러닝에서는 다변량을 다루기 때문에 편미분방정식을 사용하지만, 상미분방정식부터 ..

Contents 집합론에서는 명제(Statement)라는 개념을 다룬다. 이번 글에서는 집합론에서 언급하는 명제에 대해서 간단한 예제를 통해서 알아보고자 한다. 1.1.명제(Statement) Definition 1.1.1 시간이나 지식에 상관없이 참(True) 혹은 거짓(False)이 분명한 문장이나 식을 명제(Statement)라고 한다. 명제는 참이나 거짓이 분명해야 한다. '2+3은 5이다' 라는 문장은 2+3이 5인 것이 확실하다. '$\sqrt{2}$의 소수$10^{100}$ 번째 자리 숫자는 3이다.' 라는 문장은 계산을 하든 하지 않든 3이거나 아니거나 참과 거짓이 분명하다. 그러나, '벚꽃길이 예쁘다' 와 같은 문장은 추상적이기 때문에 명확하게 정답이 존재하지 않는다. 따라서, 명제가 아..

Power Law Distribution은 다양한 이름으로 불린다. Long Tail Distribution으로도 들어본 적 있을 것이다. 이 그래프는 사회의 현상을 가장 잘 매핑할 수 있는 함수이며, 어떤 식으로 유도되는지 알아보자. Power Law Distribution은 Real-World 네트워크 구조를 가장 잘 설명할 수 있다고 한다. 이 분포는 오른쪽으로 긴 꼬리를 가진 형태를 띄고 있어서 가독성이 많이 떨어진다. 이때 Power Law Distribution에 아래와 같은 Log-Log 수식을 취하면 Log-Log plot을 그릴 수 있고, 유의미한 패턴을 찾을 수 있다. \[ \begin{equation} \begin{split} \ln p(x) & = -\alpha \ln x + c \..

Contents 조건부 확률(Conditional Probability) 본 강의에서는 조건부 확률(Conditional Probability)에 대해서 알아보고, 조건부 확률에서 나오는 용어들이 어떤 것들이 있는지, 이 용어들의 정의에 대해서 알아본다. Independent 독립은 조건부 확률을 다루기 위해서는 필수적으로 알아야될 개념이다. 확률에서 나오는 독립은 일반적으로 생각하는 독립과는 다를 수 있다. 일반적으로 다루는 독립은 완전히 독립적으로 떨어져 있는 것을 의미하지만, 여기에서 나오는 독립은 조금 다른 개념이다. 두 사건 A, B가 있다고 하자. 이때 다음과 같을 때 이를 독립이라고 한다. \[ P(A \cap B) = P(A)P(B) \] 우리는 이전 글에서 서로소(disjoint)에 대해..

Contents 본 글은 스탠포드 강의 중 확률론 110 강의에서 언급된 내용 및 용어를 정리하고 있다. 확률과 셈의 원리 (Probability and Counting) 확률론은 유전학, 물리학, 계량 경제학, 인공지능 등 다양한 분야에서 사용되고 있으며, 확률은 불확실성(uncertainty)을 계량화하는 것을 가능하게 해준다. Multiplication Rule 발생 가능한 경우의 수가 $n_1, n_2, ... , n_r$가지인 1, 2, 3, ..., r 번의 시행에서 발생 가능한 모든 경우의 수는 $n_1 \times n_2 \times \\ \cdots \\ \times n_r$이다. Binomial Coefficient $\begin{pmatrix} n \\ k \end{pmatrix} =..

데이터가 주어졌을 때 우리가 구축한 모델이 데이터를 제대로 설명하는지 확인할 필요가 있다. AIC(Akaike information criterion)은 모델을 평가하는 지표 중 하나로 최소의 정보 손실을 갖는 모델이 가장 데이터와 적합만 모델로 선택하는 방법이다. 즉, 변수의 수는 적고, 이 변수들로 나타낼 수 있는 설명력은 높아야 한다는 것이다. 일반적으로 데이터를 구성하는 변수가 많으면 많을수록 과적합(Overfitting) 문제가 발생한다. 또한 많은 양의 데이터가 요구된다. 따라서, 최소한의 변수들로 모델을 구성해 과적합을 방지할 뿐만 아니라 불필요한 변수를 반영하지 않음으로써 모델의 설명력을 확보할 수 있다. \[ \text{AIC} = -2\text{ln}(L) + 2k \] 이때 $-2\t..

선형대수학을 다루다보면 랭크(Rank)라는 말을 많이 들어봤을 것이다. 랭크는 열공간(Column Space)의 차원을 의미한다. 일단 이를 이해하기 위해서는 일차독립에 대해서 먼저 알고 있어야 한다. 우리의 최종 목표는 행렬 $\text{A}$에서 행렬 $\text{C}$를 찾는 것이다. 이때의 $\text{C}$의 어떠한 열도 다른 열의 일차결합으로 표현되지 않아야 한다. $\text{A}$를 $\text{C}$로 변환하면서 우리는 랭크를 찾을 수 있다. 이 과정은 아래와 같이 수행된다. $\text{A}$의 1열의 성분에 0이 아닌 것이 존재하면, 이를 행렬 $\text{C}$에 포함한다. $\text{A}$의 2열이 1열에 상수를 곱한 것과 같지 않으면, 이를 $\text{C}$에 포함한다. $\..

Contents 통계 분석의 꽃은 바로 구조방정식모델이라고 할 수 있다. 구조방정식 모델은 직접적인 측정이 어려운 잠재변수(latent variable) 간의 영향관계를 분석하기 위한 통계분석 기법이다. 기존의 회귀 분석의 경우 독립 변수(x)를 기반으로 분석을 수행하기에 잠재변수를 다룰 수 없지만, 구조방정식은 회귀분석과 달리 잠재변수를 다룰 수 있고, 여러 변수 간의 영향관계를 동시에 분석할 수 있다는 장점이 있다. 다시 말해 요인분석(factor analysis)과 회귀분석(regression analysis)의 특성을 결합한 하이브리드 기법이라고 할 수 있다. 구조방정식은 잠재변수를 측정하는 측정모델(measurement model)과 측정된 잠재변수 간의 인과관계(causal relationsh..

F-test는 ANOVA를 이야기할 때 많이 언급되는 검정 방법이다. ANOVA는 집단 내 혹은 집단 간을 비교해 유의미한 결과를 도출하는 방식인데, 이는 바로 F-test를 의미하기 때문이다. F-test를 다루기 이전 집단 내 분산과 집단 간 분산에 대해서 알아보자. 집단 내 분산(within-groups variability)은 말 그대로 샘플 데이터 내부의 분산을 의미한다. 집단 내 분산이 작으면 작을수록 뾰족한 모양의 분포를 가질 것이다. 집단 간 분산(between-groups variability)은 각 데이터 간의 분산을 의미한다. 집단 간 분산이 크면 클수록 각 분포들은 멀어지게 된다. 그렇다면 우리는 집단 내 분산이 작으면 작을수록, 집단 간 분산이 크면 클수록 두 집단의 평균이 차이가..

딥러닝에서 활성화 함수를 사용할 때 시그모이드(Sigmoid) 함수를 많이 사용한다. 역전파를 보내기 위해서는 해당 함수의 편미분값을 보내야하기에 이번 글에서는 시그모이드 함수를 수식적으로 미분해보자. 우리가 알고 있는 시그모이드 함수는 다음과 같다. \[ f(x) = \frac{1}{1 + e^{-x}} \] \[ \begin{equation} \begin{split} \frac{df}{dt} = & -\frac{1}{t^2}, \ \ \ (t = 1+e^{-x}) \\ \\ \Rightarrow & \ \frac{1}{(1+e^{-x})^2} \cdot e^{-x} \\ \\ \Rightarrow &\ \frac{1 + e^{-x} -1}{ (1+e^{-x})(1+e^{-x})} \\ \\ \Righ..