ok-lab

정방행렬이고, 특이행렬이 아닐 경우 즉, full rank인 정방행렬(square matrix)에서만 역행렬을 정의할 수 있다. 정방 행렬이 아닌 행렬에서는 역행렬을 정의하는 것 대신에 무어-펜로즈 유사역행렬을 다음과 같이 정의할 수 있다. \[ A^{+}= \lim_{a \rightarrow 0}(A^T A + \alpha I)^{-1} A^T \] $A^{+}$는 행렬 $A$의 무어-펜로즈 유사역행렬이다. 또한, 다음과 같은 조건을 만족해야지만 유사역행렬이라고 부를 수 있다. $ A A^+ A = A $ $ A^+AA^+ = A^+ $ $ (AA^+)^T = AA^+ $ $ (A^+A)^T = A^+A $ 이전 글에서 다룬 SVD로 유사역행렬을 쉽게 구할 수 있다. 우리는 SVD를 다음과 같이 정의한..

변수의 보편적인 성질을 찾아내면 변수를 더 잘 이해할 수 있는 것들이 많다. 소인수 분해를 통해 16을 설명한다면 $2^4$로 간결하게 이해할 수 있을 것이다. 비슷한 맥락으로 행렬을 다양한 방식으로 분해하게 되면 기존의 구성에서는 미처 발견하지 못하는 여러 기능적인 속성을 발견할 수도 있다. 이럴때 가장 많이 사용되는 행렬 분해 방법 중 하나는 고윳값 분해(eigen decomposition)이다. 특이값 분해도 많이 사용되지만, 다음에 다루어 볼 것이다. 고윳값 분해는 행렬을 고유벡터(eigen vector)와 고윳값(eigen value)으로 분해한다. 정방행렬 $\boldsymbol{A}$의 고유벡터는 하나의 0이 아닌 벡터이며, $\boldsymbol{A}$와 곱해도 $\boldsymbol{x}..

Contents 선형대수(Linear Algebra)는 수학의 한 분야이며, 공학 분야에서 많이 사용된다. 또한, 선형대수는 정수, 그래프, 논리 연산과 같은 구분되는 값을 가지는 대상을 연구하는 이산수학과 달리, 미적분학, 수치해석과 같이 연속적인 값을 다루는 분야와 같이 묶여 연속수학에 속한다. 기계 학습(Machine Learning)에서 사용되는 알고리즘을 이해하고 적용하기 위해서는 연속수학에 속하는 학문을 잘 알아야하며, 이번에는 선형대수에 대해서 다루어볼 것이다. 선형대수는 벡터 공간, 벡터, 선형 변환, 행렬 등을 연구하는 대수학의 한 분야이며, 선형대수에서 나오는 필수적인 주요 개념부터 차근차근 살펴보자. 목차는 다음과 같다. 변수 유형(Scalar, Vector, Matrix, Tenso..

edwith 주재걸 교수님의 강의를 참고했다. Transformation 을 다루기 전에 기본적으로 알아야할 개념들 먼저 알아보자. Domain : 정의역이라고 하며 x의 모든 값 Codomain : 공역 Image : x가 주어졌을 때 mapping되는 y를 지칭 Range : 치역 함수는 아래의 화살표 관계에서 정의역의 하나의 원소에 대해 딱 하나의 값으로만 매핑되어야 한다. 그리고 정의역 내의 x값은 모두 Codomain에 속해있어야 한다. image가 하나가 아니라면 함수라고 부를 수 없다. x는 항상 unique하게 define 된다. Linear Transformation은 무엇인가? 어떤 Function 혹은 mapping이 Linear라고 한다면 아래의 조건을 만족할 때 Linear Tra..

edwith 주재걸교수님의 강의자료를 참고했다. Subspace Span이라는 개념과 거의 유사하다. subspace는 $\mathbb{R^{n}}$의 부분집합이고, Linear combination에 닫혀있는 것으로 정의할 수 있다. 닫혀있다라는 개념에 대해서 한 번 짚고 넘어가자. 예를 들어 $\{2\} \in S$ 라는 집합이 존재하고 $S$ 가 곱셈에 대해서 닫혀있다라고 하자. 그럼 $S$의 element를 뽑아서 연산을 수행했을 때 그 연산의 값이 $S$에 항상 속해있으면 곱셈에 대해서 닫혀있다라고 한다. [ 2x2 = 4 $\in S$ ] subspace에 속해있는 어떠한 벡터에 선형결합을 하더라도 그 벡터들도 역시 subspace안에 속하게 된다. Span 안에 $ \begin {bmatri..

edwith 주재걸 교수님 강의 자료를 참고하였습니다. 선형대수에서 사용하는 용어는 여기를 참고하면 된다. scalar는 말그대로 하나의 숫자의 형태를 말한다. Vector의 경우는 order가 정해져 있는 array라고 바라본다. order가 정해져있지 않는 array는 set이라고 한다. order가 정해져 있다는 말은 아래의 예시를 볼 때 첫번째 차원의 값이 1 두 번째 차원의 값이 0 이런 식으로 order가 주어져 있다고 말한다. vector라는 것은 한 방향으로만 존재하는 배열이다. 그 경우 column vector와 row vector가 존재한다. matrix의 경우 가로 세로 형태로 값이 존재하고, 가로를 row, 세로를 column이라고 얘기한다. defualt로는 column vecto..