[CS224N] Language Model (n-gram, NNLM, RNN) Contents Language Model 이란? 단어의 시퀀스에 대해서 얼마나 자연스러운 문장인지를 확률을 통해 예측하는 모델이며, 주어진 단어의 시퀀스에 대해 다음에 나타날 단어가 어떤 것인지를 예측하는 작업을 Language Modeling이라고 한다. 기계번역, 음성인식, 자동완성 등 여러 분야에 사용될 수 있다. w1,w2,⋯,wt−n+1,⋯,wt−1,wt,⋯,wT−1,wT P(w1,⋯,wT)=P(w1)×P(w2|w1)×⋯×P(wT|wT−1,⋯,w1) $\underset{t=1}{\overset{T}{\prod}}P(w_t|w_{t-1.. Deep Learning/CS224N 2021.09.01
On the long-term learning ability of LSTM LMs (ESANN'20) 오늘 읽은 논문은 On the long-term learning ability of LSTM LMs 다. sentence and discourse-level과 LSTM LM의 analyzing을 CBOW(continuous Bag-of-Words) 기반으로 LSTM LM의 학습 능력을 text와 speech로 평가한다. Sentence - level model 은 vanilla discourse-level LSTM과 같은 성능을 가지고 있다. LSTM LM은 contextual 정보에 의존해 장기 학습을 수행하고 있다. w=(w1,...,wt) 각각의 w는 이전 단어의 각각 conditional probability를 곱해서 단어를 예측한다. 많은 성공적인 논문들이 Fig. 1과 같은.. Paper review 2021.06.25
