[Linear Algebra] 선형방정식과 선형시스템

edwith 주재걸 교수님 강의 자료를 참고하였습니다.

 

 

Linear Equation

선형 방정식은 우리에게 주어진 $x_1,x_2,...x_n$의 변수들이 주어지고 그 변수들의 계수와 결합하여 어떠한 상수를 나타내는 식이다.

$a_1{x}_1+a_2{x}_2+...+a_n{x}_n=b$

 

$b$는 상수고, $x$에 곱해진 값들을 계수, coefficient라고 한다. 위 방정식을 선형대수의 관점으로 본다면 inner-product로 본다면 row vector와 column vector의 형태로 나타낼 수 있게 된다. $a^{T}x=b$

 

 

 

Linear System : Set of Equations

연립 방정식을 의미한다. feature 들과 feature에 해당하는 target을 생각해볼 수 있다. 그 문제를 푸는 과정이 연립방정식을 푸는 과정과 동일하다. Life-span을 잘 찾으려고 하는 최적의 계수들을 찾고 싶어 한다. 아래와 같이 선형식을 만들 수 있을 것이다. 3개의 식을 모두 만족하는 $x_1,x_2,x_3$ 를 찾는 것이 목표다. 이 값을 모두 연립을 통해서 계산할 수 있지만 선형방정식의 관점으로 $x$에 해당하는 계수들을 추출해 matrix로 만들고, $x$와 $b$에 해당하는 값들을 column vector로 만들 수 있을 것이다. 

 

 

 

계수들의 집합을 A, feature들의 집합을 $x$, 예측하고자 하는 값을 $b$라고 지칭하면 다음과 같다. 

 

위 식을 matrix를 통해 풀려고 하면 가장 쉽게 할 수 있는 방법중 하나가 역행렬을 사용하는 방법이 있다. 역행렬에 대해서 조금더 정의를 살펴보고자 하면 Identity Matrix개념이 도입된다. 

 

 

 

 

Identity Matrix : 항등행렬

항등행렬은 기본적으로 square matrix 구조를 가지고 대각선 값들이 전부 1이고 나머지 값들은 0 인 matrix를 지칭한다. 왜 항등행렬이라 부르냐면, 이 항등행렬은 어떠한 matrix와 곱하더라도 자기자신을 만들어내기 때문이다. 이 항등행렬을 사용해서 우리는 역행렬을 정의할 수 있다. 

 

 

 

 

Inverse Matrix

역행렬은 square matrix 만을 대상으로 한다. square matrix $A\in {\mathbb{R}}^{\mathbb{n}\times \mathbb{n}}$가 주어졌을 때 그 함수의 역행렬인 $A^{-1}$은 $A$의 왼쪽에 곱할 경우나 오른쪽에 곱할때에 모두 항등행렬이 나와야 한다. 우리가 2 by 2 matrix 일 경우에는 대부분 식을 알고 있다. ( 아래의 식 ) 아래와 같은 방법으로 square matrix의 역행렬은 구해보았다. 그럼 rectangle matrix의 역행렬은 어떻게 구할 수 있을까? 2 by 3 matrix 왼쪽에 곱해서 identity matrix가 되려면 그 행렬의 dimention은 3 by 2가 되어야 한다. ( identity matrix는 square matrix이기 때문 ) 그렇다면 그 matrix를 2 by 3 matrix의 inverse matrix라고 부를 수 있을까? 결론부터 말하면 아니다. 왜냐하면 2 by 3 matrix 와 3 by 2 matrix 순서로 행렬곱을 하더라도 동일하게 Identity matrix가 나와야 하기 때문이다. $A^{-1}A\ne A{A}^{-1}$  

 

$A^{-1}A=I_n,when,A\in {\mathbb{R}}^{\mathbb{2}\times \mathbb{3}}$ 일때는 만드는 것이 불가능

$A^{-1}A=I_n,when,A\in {\mathbb{R}}^{\mathbb{3}\times \mathbb{2}}$ 일때는 만드는 것이 가능

 

 

 

$Ax=b$ 의 우리가 알고 있는 식의 역행렬은 어떻게 구할 수 있을까?

 

$A^{-1}Ax=A^{-1}b$

 

$I_{n}x=A^{-1}b$

 

$x=A^{-1}b$

 

행렬식에서 $\frac{1}{ad-bc}=0$ 일 때 역행렬이 존재하지 않는다라고 이야기를 한다.  ( $a:b=c:d$ )

$\frac{1}{ad-bc}$를 우리는 determinant of $A$ 혹은 $detA$라고 지칭한다. $detA=0$ 이면 역행렬이 존재하지 않고, $detA\ne 0$ 이면 역행렬이 존재한다. inverse matrix 가 존재할 경우에는 finite 한, unique한 해를 가진다. inverse matrix가 존재하지 않는 경우에는 infinite 한 해를 가지거나 solution 자체가 없을 수 있다. 

 

 

위 예제에서는 정사각 행렬에 대해서만 알아봤다. rectangle matrix에 대해서 알아보자. $m$은 equations라고 두고(row) $n$은 varaibles라고 한다면, $m>n$의 경우(under-determined system)에는 solution이 매우 많고, $m<n$의 경우(over-determined system)에는 일반적으로 해가 없는 경우가 대부분이다.