ok-lab

이 파트에서는 cs231n의 자료를 가지고 소개를 해볼 예정이다. cs231n에는 deep learning 을 이용하여 vision 분야에 접근하는 내용을 다루고 있다. visual recognition에는 image, 3D modeling, Grouping, segmentation 의 내용이 있지만 CS231n에서는 image classification에 중점을 두고 강의를 진행한다. 이렇게 이미지를 Local한 지역에 물체를 탐지하는 것을 Object Detection 이라고 하며, 그런 Object가 무엇인지 어떤 행동을 취하는지 Caption을 달아주는 것을 image Captioning 이라고 한다. 이 강의는 image에 대해 상세하게 다룰 예정이다. Vision 분야는 이미지를 탐지하고 분석..

MLE란? Maximun Likelihood method라고도 불리며, 최대우도법이라고 한다. 어떤 사건이 일어날 가장 높은 확률 값을 찾는 것이라고 볼 수 있다. 어떤 모수 $\theta$로 결정되는 확률변수의 모임 $D_{\theta} = (X_{1},X_{2},...,X_{n})$이 있고, $D_{\theta}$ 의 확률변수가 $f$라고하면 $f$에 대해서 가능도 $\mathcal{L}_{\theta}$는 다음과 같이 표현할 수 있다. $\mathcal{L}_{\theta} = f_{\theta}(x_{1},x_{2},...,x_{n}) $ $\hat{\theta} = \underset{\theta}{\text{argmax} \mathcal{L(\theta)}} $ 만약 $X_{1},X_{2},....

NLP를 활용할 수 있는 분야에 대해서 공부해보는 파트이다. 자연어 처리를 활용할 수 있는 사례 자연어 처리는 질문에 대한 응답을 얻기 위하여 사용 음성을 인식하여 음성을 다른 언어로 바꿔주는 번역 및 소리로 변형(파파고, 구글 번역기, 아프리카TV 도네이션 등) image understanding : 이미지를 보여주고 그 이미지에 대해 질응 Linguistic structure : 문장이 주어졌을 경우 알맞은 단어를 찾는 경우 단어에 대해서 분석을 하려면 단어들을 숫자들의 vector로 변형해주어야 한다. 주로 one hot vector로 변형을 해준다. 하지만 one hot vector 에는 여러가지 문제점이 존재한다. Sparsity : 굉장히 정보가 적다. Orthgonal representati..

BERT는 Bidirectional Encoder Representations from Transformers의 약자이며, 이름에서부터 BERT는 Transformers의 Bidirectional Encoder임을 알 수 있다. Bidirectional은 양방향을 의미하고 Encoder는 입력값을 숫자 형태로 바꾸는 모듈을 의미하기 때문에 BERT는 문맥을 양방향으로 이해해서 숫자의 형태로 바꿔주는 딥러닝 모델이다라고 할 수 있다. Transformer는 2017년에 구글에서 발표한 Encoder, Decoder구조를 가진 딥러닝 모델이며 Machine Translation(MT)에서 우수한 성능을 보여준 모델이다. BERT에서 Encoder는 양방향으로 처리하고 Decoder는 왼쪽에서 오른쪽으로 단방..

tuple의 형태와 기초를 다루는 형태로 코드를 작성해보았다. # tuple t1 = () t2 = (1,) t3 = (1, 2, 3) # 괄호를 생략해도 무방 t4 = 1, 2, 3 t5 = ('a', 'b', ('ab', 'cd')) t1, t2, t3, t4, t5 # list 의 값은 변경이 가능하지만 tuple의 값은 변경이 불가능하다. # 지우는 것이 불가능 t1 = 1, 2, 'a', 'b' del t1[0] # error # 변경 불가능 t1[0] = 'c' # error # indexing t1 = 1, 2, 'a', 'b' t1[0] # 1 a = ((1 ,2) , (3,4), (5,9)) a[:][1] # (3, 4) # slicing t1[:-1] # (1, 2, 'a') t1[1:..

오늘 읽은 논문은 On the long-term learning ability of LSTM LMs 다. sentence and discourse-level과 LSTM LM의 analyzing을 CBOW(continuous Bag-of-Words) 기반으로 LSTM LM의 학습 능력을 text와 speech로 평가한다. Sentence - level model 은 vanilla discourse-level LSTM과 같은 성능을 가지고 있다. LSTM LM은 contextual 정보에 의존해 장기 학습을 수행하고 있다. $w = (w_{1},...,w_{t}) $ 각각의 w는 이전 단어의 각각 conditional probability를 곱해서 단어를 예측한다. 많은 성공적인 논문들이 Fig. 1과 같은..

오늘 읽은 논문은 A RNN-based Multi - Period Recommender System considering Repurchase Behavior 이다. 기존의 추천시스템의 한계를 확장시킬 수 있는 재구매가 빈번하게 일어나는 경우 구매순서를 고려한 RNN기반 추천시스템을 개발하는 논문이다. 기존의 CF(Collaborative Filtering : 협업필터링)기반 추천시스템보다 정확도 및 다양성 측면에서 추천 품질이 높아질 수 있다는 결과를 실제 데이터를 사용한 실험에서 도출해냈다고 한다. keywords : 추천시스템, 순환신경망(RNN), 구매 순서, 시계열 데이터 분석 추천시스템 : 정보 과부화가 초래된 현 상황에서 정보 과부화를 줄여 선택을 돕기 위한 진화된 방식의 정보 검색 Colla..

PCA(Principal Components Analysis) 란? 대표적인 차원 축소(dimension reduce) 방법 중 하나다. 본인이 가진 데이터를 최대한 보존하면서 compact 한 자료를 만드는 것이 목적이다. 전진 선택법, 후진제거법, 유전 알고리즘 등 변수제거를 하는 방식이 아니라 차원을 축소하는 것이다. 원래 데이터의 분산을 최대한 보존할 수 있는 기저를 찾는 것이다. 각 점 $x^{(i)} \in \mathbb{R}^n$에 대해 그에 대응되는 code vector $c^{(i)} \in \mathbb{R}^l$을 구한다음 만약 $ n \ge l$이라면 원래보다 더 적은 메모리로 code point에 저장할 수 있을 것이다. $ Var(x)_{x\in\mathbb{R^3}} = max..

Multi-layer Perceptron (MLP) 단층 퍼셉트론은 Linear - model 이다. ( logistic, Multiple linear regression, ...) 선형 모델은 식의 복잡도가 낮은 것이 한계점이다. 복잡도가 낮기 때문에 좋은 예측 성능을 찾아내기 힘들다. (단, 설명변수와 종속변수 간의 관계가 선형이 아닐경우) 기존의 단층 퍼셉트론에서 XOR을 할 경우 모델을 정확하게 구분하기에 어려움을 겪었다. 선을 하나만 그어서는 문제가 발생하기 때문에 선을 여러개를 그어서 합치자 라는 것이 Multi-layer Perceptron (MLP)의 개념이라고 할 수 있다. 복잡한 문제를 바로 풀 수 없다면 분해하여 각각을 구분하는 것이다. 왼쪽 하단의 점을 구분할 수 있는 퍼셉트론을 하..

1. confusion_matrix (오분류표) TN : 원래 값이 0인 값을 0으로 제대로 측정한 값 True Negative FP : 원래 값은 0이지만 1로 잘못 예측한 값 False Positive FN : 원래 값은 1이지만 0으로 잘못 예측한 값 False Negative TP : 원래 값이 1인 값을 1로 제대로 측정한 값 True Positive python 에서 confusion matrix 를 사용하기 위해 sklearn을 사용하였다. from sklearn.metrics import confusion_matrix confusion matrix 는 Accuracy, Precision, Recall(Sensitivity), Specificity, f1-score 등이 활용될 수 있다. A..