Sequence-to-Sequence (Seq2Seq)

Sequence-to-Sequence (Seq2Seq)는 문장을 입력으로 받고 문장을 출력하는 구조를 가지고 있다. 이는 한국어를 영어로 번역하는 것과 같은 기계번역 문제에 주로 사용된다. 또한, 문서를 입력으로 받고 요약하는 형태로도 사용된다. [논문]

 

Seq2Seq에 가장 많이 쓰이는 모델 구조는 RNN이다. 문장의 임베딩 값을 입력으로 사용하여 Encoder를 구성한다. Encoder는 하나의 Context라는 정보를 출력하고 이는 Decoder의 초기값으로 사용된다. Context Vector는 입력으로 들어간 문장의 요약 정보라 할 수 있다. 

 

입력의 시작은 $x_0$이며 일반적으로 <sos> 토큰을 사용한다. <sos> 토큰은 문장을 시작을 알려주는 토큰이며, 문장의 끝을 알려주는 토큰으로는 <eos>를 사용한다. <eos> 토큰을 맨 뒤에 넣어주면 모델이 명시적으로 문장이 끝났다는 정보를 얻을 수 있어서 결과가 더 좋다는 이야기가 있다. 

$${\text{h}}_t=\text{EncoderRNN}(\text{e}(x_t),{\text{h}}_{t-1})$$

$\text{e}(x_t)$는 입력 단어 $x_t$의 임베딩 값을 의미하고, ${\text{h}}_{t-1}$은 이전 time-step의 hidden state를 의미하며, Encoder의 ${\text{h}}_0$은 0으로 설정하고 시작한다. Seq2Seq를 구축할 때 기본으로 RNN을 사용하지만, LSTM, GRU를 사용해서 구축해도 무방하다. 

 

입력 문장 $X$의 집합을 $X=\{x_1,x_2,...,x_T\}$라고 하자. 그럼 $x_1$= <sos>이고, $x_T$는 <eos>가 될 것이다. $x_T$를 입력으로 사용하면 ${\text{h}}_t=\text{EncoderRNN}(\text{e}(x_t),{\text{h}}_{t-1})$ 가 출력이 되는데, ${\text{h}}_t$는 Decoder의 입력값인 $z$로 사용되며 이 값을 Context Vector라 부른다. 

$${\text{s}}_t=\text{DecoderRNN}(\text{d}(y_t),{\text{s}}_{t-1})$$

$d(y_t)$는 Decoder로 사용되는 입력의 임베딩 값이다. $s_{t-1}$은 이전 time-step의 hidden state를 의미하고, Encoder와는 달리 초기치는 0이 아니라 $z$가 된다. 즉, $s_0$=$z$가 된다. 

 

이렇게 출력된 $s_t$는 Dense Layer 즉, Linear Layer를 거쳐 단어 $y_t$를 예측하게 된다. 

$${\hat{y}}_t=f(s_t)$$

예측 값은 집합 $\hat{Y}=\{{\hat{y}}_1,{\hat{y}}_2,...,{\hat{y}}_T\}$로 표현하며, 정답 집합 $Y=\{y_1,y_2,...,y_T\}$ 과 비교해 손실을 최소화 하는 방향으로 진행한다. 

 

 

이에 관련된 코드는 여기를 참고하면 된다.