[Linear Algebra] 선형 결합

edwith 주재걸교수님의 강의자료를 참고했다.

 

 

---

선형 결합은 어떤 것일까? Linear Combination은 각각의 vector ( $v_{1},v_{2},...,v_{p} \in \mathbb{R^{n}} $ )가 주어지고, scalar ( $c_{1},c_{2},...,c_{p} $ ) 가 주어졌을 때 

$c_{1}v_{1} + c_{2}v_{2} + ... + c_{p}v_{p} $

형태를 vector와 weight 혹은 coefficient 간의 Linear Combination 혹은 선형 결합이라고 부른다. 선형 결합에서의 weight는 실수들만을 다루게 되고 당연히 0도 포함할 수 있다. 만약 기존 vector가 3차원이라면 선형 결합을 한 vector 역시 3차원으로 반환된다. 

 

 

이전에 다루었던 Matrix equation을 아래와 같은 vector equations로도 변형이 가능하다. Vector로 변형을 하게 되면 가로 형태가 아닌 세로 형태로 값을 바라보아야 한다. 

 

위와 같이 만든 vector equations은 우리에게 기하학적인 공간 상의 시각을 제시해준다. 그 공간 상의 시각을 통해서 해당 방정식의 해가 있는지를 알아보기 위해서 첫 번째로 필요한 개념이  Span이다.

 

 

Span

Definition : Given a set of vectors $v_{1}, v_{2},...,v_{p} \in \mathbb{R^{n}}, Span \{v_{1},...,v_{p}\} $

선형 결합에서 각각 주어진 vector를 가지고 선형 결합을 할 수 있다. 그 선형 결합을 통한 하나의 vector가 나올 수 있다. Weight를 바꾸어 가면서 만들 수 있는 모든 선형 결합의 집합을 Span이라고 부른다. 공간적인 시각으로 바라본다면 여러 vector들로 만들어진 각 값들의 집합이며, 평면에 해당하는 부분이 Span이라고 할 수 있다. 하나의 평면이기 때문에 3차원에 대한 부분집합으로 말할 수 있을 것이다. 그렇다면 vector가 하나 더 주어져서 $x = 2v_{1} + 3v_{2} + 4v_{3}$ 형태가 된다면 어떻게 될까? 각 vector들로 이루어진 Span은 3차원 공간을 전부 뒤덮어서 3차원 전체가 된다. 하지만 이건 우리가 보는 공간에서 그런 것이고, 이 역시 4차원 공간에서는 4차원 공간의 부분집합일 수 밖에 없다. 

 

 

Span

 

Vector Equations 의 solution을 찾는데 왜 Span에 대해서 설명했을까? 우리가 찾고자 하는 값이 있고, vector들이 있다고 해보자. 그 vector들로 이루어진 span이 있고 찾고자 하는 값에 대한 vector가 있을 것이다. 그런데 우리에게 주어진 span의 평면 혹은 공간 안에 해당하는 vector가 삐져나와있거나, 속해있지 않다면 해당 vector equation의 solution은 없다.

The solution exists only when $b \in Span\{a_{1}, a_{2}, a_{3}\}.$

 

 

 

우리가 행렬을 바라볼 때에는 여러가지 시각으로 바라본다. Row 형태의 Combination, Column 형태의 Combination, Sum of (Rank-1) Outer product 등 여러가지 방법을 가지고 내적, 외적을 가지고 다음 회차에 나올 SVD, PCA, LDA등을 구해볼 것이다.