상미분 방정식의 종류와 근사해법

Contents

 

 

미분 방정식은 딥러닝에서 중요한 방정식 중 하나이다. 딥러닝의 기본 원리는 경사 하강법을 통해 우리가 알 수 없는 함수를 근사하여 최적의 값을 찾는 방식으로 학습한다. 이때 경사 하강법은 미분을 통해 계산되며, 1계 도함수를 이용하여 역전파 알고리즘을 수행하기 때문에 미분 방정식의 개념에 대해서는 숙지하고 있어야 한다. 그렇다면, 이번 목차에서는 미분 방정식의 종류와 근사해법에 대해서 알아보자.

 

변수분리형 방정식

미지의 함수와 그 도함수들로 구성된 식을 미분방정식이라 부르며, 특히 1변수 함수에 대한 미분으로 표현된 식을 상미분방정식, 다변수 함수에 대한 편미분으로 표현된 식을 편미분방정식이라 분류한다. 실제 딥러닝에서는 다변량을 다루기 때문에 편미분방정식을 사용하지만, 상미분방정식부터 먼저 알아보자. 미분방정식은 크게 변수분리형 방정식, 선형 미분 방정식, 그리고 완전 미분 방정식으로 나눌 수 있다. 

\[ y^{\prime} = A(x)B(y) \]

위 형태의 꼴을 변수분리형 미분방정식이라 부른다. 예시를 통해 자세히 알아보자.

\[ y^{\prime} = y^2 e^{-x} \]

\[ \frac{dy}{dx} = y^2 e^{-x} \]

\[ \frac{1}{y^2} \cdot dy = e^{-x} \cdot dx \]

\[ y = \frac{1}{e^{-x} - C } \]

변수분리형 미분방정식인 $y^{\prime} = y^2 e^{-x} $를 위와 같이 풀어서 적을 수 있다. 이때 임의의 상수 $C$를 이용하여 모든 해를 포함한 표현을 미분방정식의 일반해라고 하고, 특정한 값을 선택하여 얻은 값을 특수해라고 한다.이때 $y(x)=0$을 이 방정식의 특이해라고 한다.

 

선형 미분방정식

선형 미분방정식은 n계 선형 미분방정식이라 부르기도 하며, 1계 도함수를 가지고 표현하는 경우 1계 선형 미분방정식이라고 한다.

\[ y^{\prime}(x) + p(x)y = q(x) \]

선형 미분방정식의 해는 아래와 같이 구할 수 있다.

\[ e^{\int p(x) dx} y^{\prime}(x) + p(x) e^{\int p(x) dx} y = q(x) e^{\int p(x) dx} \]

\[ \frac{d}{dx} (y(x) e^{\int p(x) dx} ) = q(x) e^{\int p(x) dx} \]

\[ y(x)e^{\int p(x) dx} = \int q(x) e^{\int p(x) dx} dx + C \]

\[ y(x) = e^{- \int p(x) dx } \int q(x) e^{\int p(x) dx} dx + C e^{-\int p(x) dx} \]

위와 같이 최종적으로 일반해를 구할 수 있다. 이때, $e^{\int p(x) dx}$를 적분인자라고 부른다. 위 방정식에 해당 인자를 곱하게 되면 적분이 가능하기 때문이다. 

 

완전 미분방정식

미분방정식 $M(x, y) + N(x, y) y^{\prime} = 0$을 $M(x, y)dx + N(x, y)dy = 0$으로 쓰는 경우도 있는데, 이 형태로부터 일반해를 유도할 수 있는 경우가 종종 있다. 이때 이 미분방정식의 완정성을 판정하기 위해서는 아래의 조건을 만족하여야 한다.

\[ \frac{\partial M}{\partial y} = \frac{\partial N}{\partial x} \]

만약 이때 $M\cdot dx + N \cdot dy = 0$이 완전하면, $\varphi$가 존재해 다음이 성립한다.

\[ \frac{\partial \varphi}{\partial x} = M(x, y), \quad \frac{\partial \varphi}{\partial y} = N(x, y) \]

이때 $\varphi (x, y)$는 $M \cdot dx + N \cdot dy = 0$에 대한 포텐셜 함수라고 한다.