[Linear Algebra] 고윳값 분해(eigen decomposition)

변수의 보편적인 성질을 찾아내면 변수를 더 잘 이해할 수 있는 것들이 많다. 소인수 분해를 통해 16을 설명한다면 $2^4$로 간결하게 이해할 수 있을 것이다. 비슷한 맥락으로 행렬을 다양한 방식으로 분해하게 되면 기존의 구성에서는 미처 발견하지 못하는 여러 기능적인 속성을 발견할 수도 있다. 이럴때 가장 많이 사용되는 행렬 분해 방법 중 하나는 고윳값 분해(eigen decomposition)이다. 특이값 분해도 많이 사용되지만, 다음에 다루어 볼 것이다. 

 

고윳값 분해는 행렬을 고유벡터(eigen vector)와 고윳값(eigen value)으로 분해한다. 정방행렬 $\mathit{A}$의 고유벡터는 하나의 0이 아닌 벡터이며, $\mathit{A}$와 곱해도 $\mathit{x}$의 스케일(scale)만 변한다는 조건을 만족하며, 수식으로 표현하면 다음과 같다. 

 

$\mathit{A}\mathit{x}=\lambda \mathit{x}$

 

여기서 $\mathit{v}$가 $\mathit{A}$의 고유벡터이면, $\mathrm{\forall }s\in \mathbb{R},s\ne 0$ 으로 곱한 벡터 $s\mathit{b}$도 $\mathit{A}$의 한 고유벡터이다. 행렬 $\mathit{A}$에 선형독립인 n개의 고유벡터 집합 {${\mathit{v}}^{(1)},...,{\mathit{v}}^{(n)}$ }이 있고, 각 벡터에 대응되는 고윳값 집합 {${\lambda }_1,...,{\lambda }_n$}이 있다고 하자. 이 고유벡터들로 이루어진 행렬 $\mathit{V}$=[${\mathit{v}}^{(1)},...,{\mathit{v}}^{(n)}]$과 고유값들로 이루어진 벡터 $\mathit{\lambda }=[{\lambda }_1,...,{\lambda }_n{]}^T$를 만들 수 있다. 이 행렬과 벡터를 통해 행렬 $\mathit{A}$의 고윳값 분해를 정의할 수 있으며, 고윳값 분해는 다음과 같이 정의된다. 

 

$\mathit{A}=\mathit{V}diag(\mathit{\lambda }){\mathit{V}}^{-1}$

 

행렬을 분해하게 되면 보다 복잡한 상호관계를 쉽게 표현해주어 이해하는 것에 있어 도움을 제공해줄 수 있다. 위와 같이 새로운 행렬을 구축하는 것이 아니라 기존 행렬의 고윳값과 고유벡터들로 분해하는 경우도 많다. 도입부에 언급한 것 처럼 소인수 분해의 결과가 정수를 이해하는데 도움을 제공해주는 것과 마찬가지로, 행렬을 분해해 행렬의 특징을 파악하는데 도움이 된다. 

 

$\mathit{A}=\mathit{Q}\mathbf{\Lambda }{\mathit{Q}}^T$

 

여기서 $\mathit{Q}$는 행렬 $\mathit{A}$의 고유벡터로 이루어진 직교행렬(orthogonal matrix)이고, $\mathbf{\Lambda }$는 대각행렬이다. 이때 ${\mathbf{\Lambda }}_{i,i}$는 $\mathit{Q}$ 열 $i$의 고유벡터와 연관된다. 만약 대각행렬의 성분 중 하나라도 0이면, 행렬은 특이행렬이 된다. 

 

• positive definite : 모든 고윳값이 양수인 행렬을 의미한다.
• positive semidefinite : 모든 고윳값이 양수 혹은 0인 행렬을 의미한다.
• negative definite : 모든 고윳값이 음수인 행렬을 의미한다.
• negative semidefinite : 모든 고윳값이 음수 혹은 0인 행렬을 의미한다.