[Books] Weighted Embedding

가중 임베딩(Weighted Embedding)은 단어 임베딩을 문장 수준 임베딩으로 확장하는 방법이다. 제안한 논문에서는 문서 내 단어의 등장은 저자가 생각한 주제에 의존한다고 가정한 후 분석을 수행한다. 즉, 주제에 따라 단어의 사용 양상이 달라진다는 것이다. 이를 위해 주제 벡터(Discourse vector) ${\text{c}}_s$라는 개념을 도입했다. 본 논문에서는 ${\text{c}}_s$가 주어졌을 때 어떤 단어 $w$가 등장할 확률을 다음과 같이 정의했다. 

$$\text{P}(w|{\text{c}}_s)=\alpha \text{P}(w)+(1-\alpha )\frac{\exp ({\tilde{c}}_s\cdot {\text{v}}_w)}{\text{Z}}$$

$$\text{where}{\tilde{\text{c}}}_s=\beta c_0+(1-\beta )c_s,c_o\perp c_s$$ 

이때 $c_0\in {\mathbb{R}}^d$는 common discourse vector를 의미하며, 가장 많은 빈도를 가진 주제 벡터다. $\alpha$와 $\beta$는 scalar hyperparameters 이며, $Z_{{\tilde{c}}_s}=\sum _{w\in \mathcal{V}}\exp (⟨{\tilde{c}}_s,v_w⟩)$ 은 우변 두번째 항이 확률 값으로 되도록 해주는normalizing constant이다. 

 

한국어를 예로 들자면 '은, 는, 이, 가'와 같은 조사의 경우 우변의 첫 번째 항인 $\alpha \text{P}(w)$가 높은 쪽으로 나가아겠지만 두 번째 항의 경우에는 주제 벡터 ${\tilde{c}}_s$와의 내적은 그다지 좋은 값을 가지지 않을 것이다. 다른 예로는 주제가 '학교'인 경우 '학생', '학식' 등의 단어는 우변의 첫 번째 항의 경우 상대적으로 낮은 $\text{P}(x)$를 가지지만, 두 번째 항의 경우 주제와 밀접한 관련이 있기에 높은 값을 지닐 것이다. 우변의 값들을 weighted sum 하여 결과를 산출한다. $⟨{\tilde{c}}_s,v_w⟩$과 ${\tilde{c}}_s\cdot v_w$와 ${\tilde{c}}_s^T{v}_w$는 모두 내적을 의미하기에 혼용해도 상관없다.

 

그렇다면 문장 임베딩은 어떻게 할까? 문장은 단어들로 이루어진 시퀀스라고 볼 수 있다. 그렇기에 문장에 속한 모든 단어들이 등장할 확률의 누적 곱으로 표현할 수 있다. 그러나 문장의 길이가 길어질수록 확률값은 작아지기에 0에 가깝게 간다. 이러한 문제를 해결하기 위해 누적곱에 $\log$를 적용하여 계산하며, 수식은 다음과 같다. 

$$p[s|c_s]=\prod _{w\in s}p(w|c_s)=\prod _{w\in s}[\alpha p(w)+(1+a)\frac{\exp (⟨v_w,{\tilde{c}}_s⟩)}{\text{Z}}]$$

$$f_w({\tilde{c}}_s)=\log [\alpha p(w)+(1-\alpha )\frac{\exp (⟨v_w,{\tilde{c}}_s⟩)}{Z}]$$

우리는 확률 값을 최대화하는 지점을 찾을 때 목적 함수는 $\text{MLE}$를 사용하는 것을 알고 있다. 위 수식을 미분함으로써 변곡점을 찾아 확률이 최대가 되는 지점을 찾을 수 있을 것이다. 

$$\mathrm{\nabla }{f}_w({\tilde{c}}_s)=\frac{1}{\alpha P(w)+(1-\alpha )\exp (⟨v_w,{\tilde{c}}_s⟩)/\text{Z}}\frac{1-\alpha }{\text{Z}}\exp (⟨v_w,{\tilde{c}}_s⟩)v_w$$ 

수식으로는 복잡해 보이지만 매우 간단한 미분 방식이다. $\alpha p(w)+(1-\alpha )\frac{\exp (⟨v_w,{\tilde{c}}_s⟩)}{Z}$를 $t$로 치환하면 $\log (t)$를 미분하는 것에 불과하다. $\log (t)$의 미분은 $\frac{1}{t}$이고, $t$에 대해서 속미분을 진행하면 위와 같은 수식으로 쉽게 도출된다. 이때 주의할 점은 ${\tilde{c}}_s$를 제외한 나머지 변수들은 전부 상수로 취급한다. 우리는 이때 테일러 전개를 사용할 수 있다. 테일러 전개에 대한 자세한 내용은 여기를 참고하면 된다. 

$$\begin{array}{rl}{f}_w({\tilde{c}}_s)& \approx f_w(0)+\mathrm{\nabla }{f}_w(0{)}^T{\tilde{c}}_s\\ \\ & =\text{constant}+\frac{(1-\alpha )/(\alpha \text{Z})}{p(w)+(1-\alpha )/(\alpha Z)}⟨v_w,{\tilde{c}}_s⟩\end{array}$$

테일러 급수는 n번째 항 까지만 써서 원래 함수를 근사하는 방식이며, ${\tilde{c}}_s$에 대한 MLE의 수식은 아래와 같다. 

$$\text{argmax}\sum _{w\in s}{f}_w({\tilde{c}}_s)\propto \sum _{w\in s}\frac{a}{p(w)+a}{v}_w,\text{where}a=\frac{1-\alpha }{\alpha \text{Z}}$$

자주 사용되는 단어($w$)의 경우 $\frac{a}{p(w)+a}$이기에 가중치가 적게 부여되는 방식으로 학습된다. 이는 정보성이 높은 단어의 경우 가중치를 높게 주는 TF-IDF의 아이디어와 비슷하다. 

 

가중 임베딩을 구현한 코드는 여기를 참고하면 된다.