[Linear Algebra] 선형방정식과 선형시스템

edwith 주재걸 교수님 강의 자료를 참고하였습니다.

 

 

Linear Equation

선형 방정식은 우리에게 주어진 $x_{1}, x_{2},...x_{n}$의 변수들이 주어지고 그 변수들의 계수와 결합하여 어떠한 상수를 나타내는 식이다.

$ a_{1}x_{1} + a_{2}x_{2} + ... + a_{n}x_{n} = b $

 

$b$는 상수고, $x$에 곱해진 값들을 계수, coefficient라고 한다. 위 방정식을 선형대수의 관점으로 본다면 inner-product로 본다면 row vector와 column vector의 형태로 나타낼 수 있게 된다. $a^{T}x = b$

 

 

 

Linear System : Set of Equations

연립 방정식을 의미한다. feature 들과 feature에 해당하는 target을 생각해볼 수 있다. 그 문제를 푸는 과정이 연립방정식을 푸는 과정과 동일하다. Life-span을 잘 찾으려고 하는 최적의 계수들을 찾고 싶어 한다. 아래와 같이 선형식을 만들 수 있을 것이다. 3개의 식을 모두 만족하는 $x_{1}, x_{2}, x_{3}$ 를 찾는 것이 목표다. 이 값을 모두 연립을 통해서 계산할 수 있지만 선형방정식의 관점으로 $x$에 해당하는 계수들을 추출해 matrix로 만들고, $x$와 $b$에 해당하는 값들을 column vector로 만들 수 있을 것이다. 

 

 

 

계수들의 집합을 A, feature들의 집합을 $x$, 예측하고자 하는 값을 $b$라고 지칭하면 다음과 같다. 

 

위 식을 matrix를 통해 풀려고 하면 가장 쉽게 할 수 있는 방법중 하나가 역행렬을 사용하는 방법이 있다. 역행렬에 대해서 조금더 정의를 살펴보고자 하면 Identity Matrix개념이 도입된다. 

 

 

 

 

Identity Matrix : 항등행렬

항등행렬은 기본적으로 square matrix 구조를 가지고 대각선 값들이 전부 1이고 나머지 값들은 0 인 matrix를 지칭한다. 왜 항등행렬이라 부르냐면, 이 항등행렬은 어떠한 matrix와 곱하더라도 자기자신을 만들어내기 때문이다. 이 항등행렬을 사용해서 우리는 역행렬을 정의할 수 있다. 

 

 

 

 

Inverse Matrix

역행렬은 square matrix 만을 대상으로 한다. square matrix $A \in \mathbb{R^{n \times n}}$가 주어졌을 때 그 함수의 역행렬인 $A^{-1}$은 $A$의 왼쪽에 곱할 경우나 오른쪽에 곱할때에 모두 항등행렬이 나와야 한다. 우리가 2 by 2 matrix 일 경우에는 대부분 식을 알고 있다. ( 아래의 식 ) 아래와 같은 방법으로 square matrix의 역행렬은 구해보았다. 그럼 rectangle matrix의 역행렬은 어떻게 구할 수 있을까? 2 by 3 matrix 왼쪽에 곱해서 identity matrix가 되려면 그 행렬의 dimention은 3 by 2가 되어야 한다. ( identity matrix는 square matrix이기 때문 ) 그렇다면 그 matrix를 2 by 3 matrix의 inverse matrix라고 부를 수 있을까? 결론부터 말하면 아니다. 왜냐하면 2 by 3 matrix 와 3 by 2 matrix 순서로 행렬곱을 하더라도 동일하게 Identity matrix가 나와야 하기 때문이다. $ A^{-1}A \neq AA^{-1} $  

 

$ A^{-1}A = I_{n},\ when,\ A \in \mathbb{R^{2 \times 3}} $ 일때는 만드는 것이 불가능

$ A^{-1}A = I_{n},\ when,\ A \in \mathbb{R^{3 \times 2}} $ 일때는 만드는 것이 가능

 

 

 

$Ax = b$ 의 우리가 알고 있는 식의 역행렬은 어떻게 구할 수 있을까?

 

$A^{-1}Ax = A^{-1}b$

 

$I_{n}x = A^{-1}b$

 

$x = A^{-1}b$

 

행렬식에서 ${1 \over ad-bc} = 0 $ 일 때 역행렬이 존재하지 않는다라고 이야기를 한다.  ( $ a:b = c:d $ )

${1 \over ad-bc} $를 우리는 determinant of $A$ 혹은 $det\ A$라고 지칭한다. $det\ A = 0 $ 이면 역행렬이 존재하지 않고, $det\ A \neq 0$ 이면 역행렬이 존재한다. inverse matrix 가 존재할 경우에는 finite 한, unique한 해를 가진다. inverse matrix가 존재하지 않는 경우에는 infinite 한 해를 가지거나 solution 자체가 없을 수 있다. 

 

 

위 예제에서는 정사각 행렬에 대해서만 알아봤다. rectangle matrix에 대해서 알아보자. $m$은 equations라고 두고(row) $n$은 varaibles라고 한다면, $ m > n$의 경우(under-determined system)에는 solution이 매우 많고, $m < n$의 경우(over-determined system)에는 일반적으로 해가 없는 경우가 대부분이다.