[Linear Algebra] 선형대수의 기초

edwith 주재걸 교수님 강의 자료를 참고하였습니다.

 

선형대수에서 사용하는 용어는 여기를 참고하면 된다. 

 

scalar는 말그대로 하나의 숫자의 형태를 말한다. Vector의 경우는 order가 정해져 있는 array라고 바라본다. order가 정해져있지 않는 array는 set이라고 한다. order가 정해져 있다는 말은 아래의 예시를 볼 때 첫번째 차원의 값이 1 두 번째 차원의 값이 0 이런 식으로 order가 주어져 있다고 말한다. vector라는 것은 한 방향으로만 존재하는 배열이다. 그 경우 column vector와 row vector가 존재한다.  matrix의 경우 가로 세로 형태로 값이 존재하고, 가로를 row, 세로를 column이라고 얘기한다. defualt로는 column vector를 많이 사용하는데 이것은 우리들만의 약속이다. 

 

 

 

 

우리가 기본적으로 vector를 이야기 할 땐 column vector로 많이 이야기를 한다. column vector를 굳이 matrix로 변형을 한다고 하면 $ x \in \mathbb{R^{n}} = \mathbb{R^{n\times1}} $ 로 표현할 수 있다. row vector로 나타낼 때에는 $x^{T} \in \mathbb{R^{1 \times n}} $로 원래 vector에 transpose 한 형태로 나타낸다. 

 

Matrix Notations

matrix notation 중 가장 대표적인 matrix는 square matrix다. square matrix는 가로 세로 길이가 똑같은 matrix다. Rectangular 는 가로 세로의 길이가 똑같지 않은 matrix 이며 Transpose는 아까 얘기한 것과 동일하게 diagonal 기준으로 회전시킨 matrix이다. 우리가 해당 matrix에서 특정 element를 지칭할 때에는 $A_{ij}$로 표현한다.  $A_{i, :}$은 $i$번 째 row를 의미하되 column은 모든 값을 포함하도록 한다는 뜻이다.

( $A_{:,j}$ 는 반대 )

 

 

Additions and Multiplication

각 vector와 matrix간에 element-wise로 addition 을 할 때에는 두 값의 dimention이 동일해야 한다. $A, B, C \in \mathbb{R^{m \times n}} $

scalar를 통해서 상수배를 해줄때에는 모든 element에다가 곱하게 된다 . matrix간의 곱을 하기 위해서는 첫 번째 matrix의 column수와 두 번째 matrix의 row 수가 같아야지만 곱할 수 있다. 1x3 vector와 3x1 vector를 곱해서 하나의 scalar 혹은 1x1 matrix로 출력되는 경우를 inner-product 즉, 내적이라고 부르고 3x1 vector와 1x2 vector를 곱해서 3x2 matrix를 출력하는 경우를 outer-product 외적이라고 부른다.  

 

 

matrix product는 기본적으로 순서에 상관있다. $ AB \neq BA $  $A \in \mathbb{R^{2 \times 3}},\ B \in \mathbb{R^{3 \times 5}} $라고 한다면 , $AB$는 정의할 수 있지만 $BA$는 정의할 수 없다. 즉 matrix 간에는 commutative가 성립하지 않는다. 만약 $A \in \mathbb{R^{2 \times 2}},\ B \in \mathbb{R^{2 \times 2}}$ 라고하면 $AB = BA$가 성립할까? 일단 결론부터 말하자면 성립하지 않는다. 왜냐하면 곱셈을 진행하는 방향이 다르기 때문에 같은 값이 나오지 않는다. 

 

 

Other Properites

 

$A(B+C)\ =\ AB + AC$   # Distributive

$A(BC)\ =\ (AB)C$  # Associative

$(AB)^{T}\ =\ B^{T}A^{T}$  # Property of transpose

$(AB)^{-1}\ =\ B^{-1}A^{-1}$

 

분배법칙과 결합법칙 그리고 transpose를 하게되면 순서가 바뀌면서 transpose하게 된다.