ok-lab

- Optimization - Word Prediction Methods - GloVe : Global Vectors for Word Representation - How to evaluate word vectors - Word senses and word sense ambiguity Optimization gradient descent 최적화의 가장 대표적인 모델은 경사하강법(GD)이 있다. 경사하강법은 Cost Function $J(\theta)$를 최소화하기 위한 알고리즘으로 초기에 $\theta$를 랜덤하게 설정하고 시작한다. 그리고 현재의 $\theta$에서 $J(\theta)$의 기울기를 계산하고 기울기의 반대방향으로 조금씩 이동하면서 최소가 되는 $\hat{\theta}$을 찾아가는 방법이다..

스탠포드 대학에서 열리는 Natural Language Processing with Deep Learning CS224N 강의를 요약했다. - Introduction to NLP - Word Vectors $\cdot$ Representations $\cdot$ Count-Based Models (SVD Methods) $\cdot$ Neural Network-Based Models (Word2Vec) Human Language가 특별한 이유는 무엇인가? 사람의 언어는 의미를 전달하기 위해 특별하게 구성된 시스템이라고 말한다. 언어는 signifier(기호) 에 매핑된 signified(개념, 의미)라고 한다. 사람이 Rocket이라는 단어(signifier)를 보고 로켓을 연상해 낸다. NLP란 무엇인..

NLP를 활용할 수 있는 분야에 대해서 공부해보는 파트이다. 자연어 처리를 활용할 수 있는 사례 자연어 처리는 질문에 대한 응답을 얻기 위하여 사용 음성을 인식하여 음성을 다른 언어로 바꿔주는 번역 및 소리로 변형(파파고, 구글 번역기, 아프리카TV 도네이션 등) image understanding : 이미지를 보여주고 그 이미지에 대해 질응 Linguistic structure : 문장이 주어졌을 경우 알맞은 단어를 찾는 경우 단어에 대해서 분석을 하려면 단어들을 숫자들의 vector로 변형해주어야 한다. 주로 one hot vector로 변형을 해준다. 하지만 one hot vector 에는 여러가지 문제점이 존재한다. Sparsity : 굉장히 정보가 적다. Orthgonal representati..