ok-lab

선형대수학을 다루다보면 랭크(Rank)라는 말을 많이 들어봤을 것이다. 랭크는 열공간(Column Space)의 차원을 의미한다. 일단 이를 이해하기 위해서는 일차독립에 대해서 먼저 알고 있어야 한다. 우리의 최종 목표는 행렬 $\text{A}$에서 행렬 $\text{C}$를 찾는 것이다. 이때의 $\text{C}$의 어떠한 열도 다른 열의 일차결합으로 표현되지 않아야 한다. $\text{A}$를 $\text{C}$로 변환하면서 우리는 랭크를 찾을 수 있다. 이 과정은 아래와 같이 수행된다. $\text{A}$의 1열의 성분에 0이 아닌 것이 존재하면, 이를 행렬 $\text{C}$에 포함한다. $\text{A}$의 2열이 1열에 상수를 곱한 것과 같지 않으면, 이를 $\text{C}$에 포함한다. $\..

Trace 연산자는 행렬의 모든 주대각 성분의 합을 의미하며, 다음과 같이 정의한다. \[ Tr(\boldsymbol{A}) = \sum_{i} \boldsymbol{A_{i,i}} \] Trace 연산자는 Transpose 연산자에 대해 불변(invariant)이다. 또한, 행렬 곱으로 이루어진 정방행렬의 대각합은 각 행렬곱의 순서를 바꾸어도 행렬곱이 정의된다. 단, 행렬 순서를 바꾸어도 연산이 된다는 가정하에 적용된다. $ Tr(\boldsymbol{ABC}) = Tr(\boldsymbol{CAB}) = Tr(\boldsymbol{BCA}) $ \[ Tr( \prod_{i=1}^n \boldsymbol{F}^{(i)}) = Tr(\boldsymbol{F}^{(n)} \prod_{i=1}^{n-1} \..

정방행렬이고, 특이행렬이 아닐 경우 즉, full rank인 정방행렬(square matrix)에서만 역행렬을 정의할 수 있다. 정방 행렬이 아닌 행렬에서는 역행렬을 정의하는 것 대신에 무어-펜로즈 유사역행렬을 다음과 같이 정의할 수 있다. \[ A^{+}= \lim_{a \rightarrow 0}(A^T A + \alpha I)^{-1} A^T \] $A^{+}$는 행렬 $A$의 무어-펜로즈 유사역행렬이다. 또한, 다음과 같은 조건을 만족해야지만 유사역행렬이라고 부를 수 있다. $ A A^+ A = A $ $ A^+AA^+ = A^+ $ $ (AA^+)^T = AA^+ $ $ (A^+A)^T = A^+A $ 이전 글에서 다룬 SVD로 유사역행렬을 쉽게 구할 수 있다. 우리는 SVD를 다음과 같이 정의한..

변수의 보편적인 성질을 찾아내면 변수를 더 잘 이해할 수 있는 것들이 많다. 소인수 분해를 통해 16을 설명한다면 $2^4$로 간결하게 이해할 수 있을 것이다. 비슷한 맥락으로 행렬을 다양한 방식으로 분해하게 되면 기존의 구성에서는 미처 발견하지 못하는 여러 기능적인 속성을 발견할 수도 있다. 이럴때 가장 많이 사용되는 행렬 분해 방법 중 하나는 고윳값 분해(eigen decomposition)이다. 특이값 분해도 많이 사용되지만, 다음에 다루어 볼 것이다. 고윳값 분해는 행렬을 고유벡터(eigen vector)와 고윳값(eigen value)으로 분해한다. 정방행렬 $\boldsymbol{A}$의 고유벡터는 하나의 0이 아닌 벡터이며, $\boldsymbol{A}$와 곱해도 $\boldsymbol{x}..

기계 학습(Machine Learning)에서는 벡터의 크기를 측정할 때 노름$^{\mathsf{norm}}$이라고 불리는 함수를 이용해 측정하며, 다음과 같이 표기 및 정의한다. \[ L^p = ||x||_p = (\sum_i |x_i|^p)^{\frac{1}{p}} \] $p \in \mathbb{R}, p \ge 1$이다. 일반적으로 노름은 벡터를 음이 아닌 값으로 사상(mapping)하는 것이며, 벡터 $\boldsymbol{x}$의 노름은 원점에서 점 $x$까지의 거리이다. 노름은 다음과 같은 성질을 만족하는 임의의 함수이다. $ f(\boldsymbol{x}) = 0 \Rightarrow​ \boldsymbol{x} = \boldsymbol{0} $ $ f(\boldsymbol{x} + \bo..

Contents 선형대수(Linear Algebra)는 수학의 한 분야이며, 공학 분야에서 많이 사용된다. 또한, 선형대수는 정수, 그래프, 논리 연산과 같은 구분되는 값을 가지는 대상을 연구하는 이산수학과 달리, 미적분학, 수치해석과 같이 연속적인 값을 다루는 분야와 같이 묶여 연속수학에 속한다. 기계 학습(Machine Learning)에서 사용되는 알고리즘을 이해하고 적용하기 위해서는 연속수학에 속하는 학문을 잘 알아야하며, 이번에는 선형대수에 대해서 다루어볼 것이다. 선형대수는 벡터 공간, 벡터, 선형 변환, 행렬 등을 연구하는 대수학의 한 분야이며, 선형대수에서 나오는 필수적인 주요 개념부터 차근차근 살펴보자. 목차는 다음과 같다. 변수 유형(Scalar, Vector, Matrix, Tenso..

기존의 이웃 기반 협업 필터링(Neighbor Based Collaborative Filtering, NBCF)이 가지고 있는 희소성(Sparsity), 확장성(Scalarbility) 문제를 해결하기 위해 모델 기반 협업 필터링(Model Based Collaborative Filtering, MBCF)이 등장했다. MBCF의 종류는 엄청나게 다양하지만 여기서는 행렬 분해(Matrix Factorization) 중 대표적인 기법인 SVD(Singular Value Decomposition)에 대해서만 다룰 것이다. 이전에 다룬 고윳값 분해와는 조금 다른 방식으로 접근한다. SVD는 특이값 분해라고 부른다. SVD는 행렬을 고윳값과 고유벡터가 아닌, 특이벡터(Singular vector)들과 특이값(si..

edwith 주재걸 교수님의 강의를 참고했다. Transformation 을 다루기 전에 기본적으로 알아야할 개념들 먼저 알아보자. Domain : 정의역이라고 하며 x의 모든 값 Codomain : 공역 Image : x가 주어졌을 때 mapping되는 y를 지칭 Range : 치역 함수는 아래의 화살표 관계에서 정의역의 하나의 원소에 대해 딱 하나의 값으로만 매핑되어야 한다. 그리고 정의역 내의 x값은 모두 Codomain에 속해있어야 한다. image가 하나가 아니라면 함수라고 부를 수 없다. x는 항상 unique하게 define 된다. Linear Transformation은 무엇인가? 어떤 Function 혹은 mapping이 Linear라고 한다면 아래의 조건을 만족할 때 Linear Tra..

edwith 주재걸교수님의 강의자료를 참고했다. Subspace Span이라는 개념과 거의 유사하다. subspace는 $\mathbb{R^{n}}$의 부분집합이고, Linear combination에 닫혀있는 것으로 정의할 수 있다. 닫혀있다라는 개념에 대해서 한 번 짚고 넘어가자. 예를 들어 $\{2\} \in S$ 라는 집합이 존재하고 $S$ 가 곱셈에 대해서 닫혀있다라고 하자. 그럼 $S$의 element를 뽑아서 연산을 수행했을 때 그 연산의 값이 $S$에 항상 속해있으면 곱셈에 대해서 닫혀있다라고 한다. [ 2x2 = 4 $\in S$ ] subspace에 속해있는 어떠한 벡터에 선형결합을 하더라도 그 벡터들도 역시 subspace안에 속하게 된다. Span 안에 $ \begin {bmatri..

edwith 주재걸교수님의 강의를 참고하였다. 핵심키워드 $Linear\ Independence\ and\ Linear\ Dependence\ Sub\ space $ 일단 우리는 $b \in Span\{a_{1},a_{2},a_{3}\} $ 라고 하자. 그러면 $b$가 Span 안에 들어오게 되며, solution을 가지게 된다. 그럴 때 이 solution은 unique한 것일까? 1. $a_{1},a_{2}\ and\ a_{3}$가 Linear Independence 라면 값은 unique하다. 2. $a_{1}, a_{2}\ and\ a_{3}$가 Linear Dependence 라면 solution은 매우 많은 값을 가지게 된다. 무수히 많은 해를 가진다는 말은 어떤 뜻일까? 우리는 각각의 재료 ..