[Linear Algebra] 부분공간의 기저와 차원

edwith 주재걸교수님의 강의자료를 참고했다.

 

 

 

 

Subspace

Span이라는 개념과 거의 유사하다. subspace는 $\mathbb{R^{n}}$의 부분집합이고, Linear combination에 닫혀있는 것으로 정의할 수 있다. 닫혀있다라는 개념에 대해서 한 번 짚고 넘어가자. 예를 들어 $\{2\} \in S$ 라는 집합이 존재하고 $S$ 가 곱셈에 대해서 닫혀있다라고 하자. 그럼 $S$의 element를 뽑아서 연산을 수행했을 때 그 연산의 값이 $S$에 항상 속해있으면 곱셈에 대해서 닫혀있다라고 한다. [ 2x2 = 4 $\in S$ ]

 

subspace에 속해있는 어떠한 벡터에 선형결합을 하더라도 그 벡터들도 역시 subspace안에 속하게 된다. Span 안에 $ \begin {bmatrix} 1 \\ 2 \\ 3 \end {bmatrix} $, $\begin {bmatrix} 4 \\ 5 \\ 6 \end {bmatrix} $ 가 속해있다고 하자. 해당 집합 안에 $w= \begin {bmatrix} 1 \\ 1 \end {bmatrix}$로 생성된 $\begin {bmatrix} 5 \\ 7 \\ 9 \end {bmatrix} $ 가 존재한다. $w = \begin {bmatrix} -1 \\ 1 \end {bmatrix} $로 생성된 $\begin {bmatrix} 3 \\ 3 \\ 3 \end {bmatrix} $ 도 역시 존재한다. 만약 Span의 벡터들의 모든 선형결합이 Span안에 속해 있다고 하면 해당 Span은 subspace이며 선형결합에 대해서 닫혀있다고 할 수 있다. 

 

Subsapce 는 항상 어떠한 Span {$v_{1}, ... , v_{p}$}로 표현될 수 있다. 

 

 

Basis

subspace에서 임의의 벡터 하나를 뽑아보자. 그 임의의 벡터로는 Span을 표현할 수 없을 것이다. 그다음 두 번째 벡터를 찾아 Span을 전부 표현할 수 있게 만들 수 있다(Fully Span). 추가로 Linear indenpendent한 경우에 임의의 두 벡터를 Basis vector 라고 부른다. 또 다른 벡터들로 구성하여 Span을 Fully span 할 수 있을 것이다. 그렇기 때문에 basis vector는 unique하지 않다는 것을 알아두자. 해당 Subspace의 Basis vector의 개수를 dimension 혹은 dim 이라고 한다.

 

3차원 공간에서 Subspace의 가장 간단한 basis로는 $\begin {bmatrix} 1 \\ 0 \\ 0 \end {bmatrix} $, $\begin {bmatrix} 0 \\ 1 \\ 0 \end {bmatrix} $, $\begin {bmatrix} 0 \\ 0 \\ 1 \end {bmatrix} $을 나타낸다 standard basis라고도 부른다.  

 

 

 

Rank of Matrix

어떤 Matrix가 주어졌을 때 Matrix내의 Column vector들로 만들어진 Subspace를 Col A 라고 부른다. linearly dependent가 있는 경우에는 dependent한 부분을 없애주어야 한다. 그렇게 만들어진 Col A의 dim을 rank A라고 한다. The rank of a matrix A, denoted by rank A, is the dimention of the column space of A: basis 의 개수 즉, 차원의 수를 rank라고 한다.

 

Matrix의 실제 feature의 수는 많지만 Rank가 낮다는 말은 해당 column vector 들이 linear dependent 해서 vector들을 축소해도 큰 문제가 되지 않는다는 뜻이다. 해당 rank의 column들로 표현이 가능하다는 것이고, 만약 matrix의 feature를 축소하지 않으면 해당 column vector들로 인해서 overfitting이 일어나기 쉬워진다.