ok-lab

베이즈 규칙을 알아보기 전 우리가 기본적으로 알아야할 개념들부터 짚고 넘어가자. 우리는 일반적으로 확률을 지칭할 때 $p(A)$형태로 표현을 한다. 이 확률값은 $ 0\le p(A) \le 1$의 값을 지녀야한다. 그리고 결합확률(Joint Probability)은 일반적으로 $p(A \cap B)\ or\ p(AB) $ 로 표기하며 일부 책에서는 $ A \rightarrow B$라고 표기하기도 한다. 여기에서는 일반적으로 표기하는 방법을 사용할 것이다. 결합 확률과 독립 확률에서의 독립이라는 개념은 두 값이 떨어져있다라는 개념으로 받아들이면 큰 문제가 생긴다. 확률에서의 독립이란, 두 사건 사이에 아무런 연관성이 없다는 뜻이며 사건 A가 일어나는 것과 사건 B가 일어나는 것이 서로 관련이 없다는 뜻이다..

추천시스템은 우리가 가장 많이 접해볼 수 있다. 넷플릭스, 당근 마켓, 쿠팡, 카카오 등 여러 기업에서 사용한다. 넷플릭스의 경우는 사람간의 유사도를 평가해 해당 영화를 시청했을 때 그 영화와 줄거리가 비슷한 영화를 추천해주고, 카카오의 경우 카카오에서 어떠한 기사를 보면 그 기사의 토픽을 보고 비슷한 기사를 추천해주는 방법을 사용하고 있다. 이렇게 추천시스템은 우리의 일상에 이미 동화되어 있다. 롱테일의 법칙 롱테일의 법칙은 하위 80%가 상위 20%의 가치보다 크다는 법칙이다. 추천시스템을 이야기 하는데 왜 갑자기 롱테일의 법칙을 이야기 할까? 다소 동 떨어진 의미라고 생각할 수 있지만 현재 추천시스템을 사용하는 기업들은 상위 20% 의 고객에 초점을 맞추기 보다는 하위 80% 의 고객에게 초점을 맞..

- Optimization - Word Prediction Methods - GloVe : Global Vectors for Word Representation - How to evaluate word vectors - Word senses and word sense ambiguity Optimization gradient descent 최적화의 가장 대표적인 모델은 경사하강법(GD)이 있다. 경사하강법은 Cost Function $J(\theta)$를 최소화하기 위한 알고리즘으로 초기에 $\theta$를 랜덤하게 설정하고 시작한다. 그리고 현재의 $\theta$에서 $J(\theta)$의 기울기를 계산하고 기울기의 반대방향으로 조금씩 이동하면서 최소가 되는 $\hat{\theta}$을 찾아가는 방법이다..

edwith 주재걸 교수님의 강의를 참고했다. Transformation 을 다루기 전에 기본적으로 알아야할 개념들 먼저 알아보자. Domain : 정의역이라고 하며 x의 모든 값 Codomain : 공역 Image : x가 주어졌을 때 mapping되는 y를 지칭 Range : 치역 함수는 아래의 화살표 관계에서 정의역의 하나의 원소에 대해 딱 하나의 값으로만 매핑되어야 한다. 그리고 정의역 내의 x값은 모두 Codomain에 속해있어야 한다. image가 하나가 아니라면 함수라고 부를 수 없다. x는 항상 unique하게 define 된다. Linear Transformation은 무엇인가? 어떤 Function 혹은 mapping이 Linear라고 한다면 아래의 조건을 만족할 때 Linear Tra..

Lexical Analysis Lexical Analysis(어휘 분석) 이라함은 말 그대로 단어수준 토큰 수준으로 의미를 보존할 수 있는 최소한의 수준에서 분석을 하는 것을 의미한다. 어떠한 일정한 순서가 있는 characters 들의 조합을 tokens으로 변화하는 것을 의미한다. 이 tokens은 의미를 가지고 있는 character string이다. NLP에서는 morpheme(형태소)가 가장 기본적인 유닛이 되고, text mining에서는 단어 관점에서도 tokens을 사용하기도 한다. process of lexical analysis - Tokenizing - Part-of-Speech (POS) tagging - Additional analysis : NER, noun phrase reco..

edwith 주재걸교수님의 강의자료를 참고했다. Subspace Span이라는 개념과 거의 유사하다. subspace는 $\mathbb{R^{n}}$의 부분집합이고, Linear combination에 닫혀있는 것으로 정의할 수 있다. 닫혀있다라는 개념에 대해서 한 번 짚고 넘어가자. 예를 들어 $\{2\} \in S$ 라는 집합이 존재하고 $S$ 가 곱셈에 대해서 닫혀있다라고 하자. 그럼 $S$의 element를 뽑아서 연산을 수행했을 때 그 연산의 값이 $S$에 항상 속해있으면 곱셈에 대해서 닫혀있다라고 한다. [ 2x2 = 4 $\in S$ ] subspace에 속해있는 어떠한 벡터에 선형결합을 하더라도 그 벡터들도 역시 subspace안에 속하게 된다. Span 안에 $ \begin {bmatri..

스탠포드 대학에서 열리는 Natural Language Processing with Deep Learning CS224N 강의를 요약했다. - Introduction to NLP - Word Vectors $\cdot$ Representations $\cdot$ Count-Based Models (SVD Methods) $\cdot$ Neural Network-Based Models (Word2Vec) Human Language가 특별한 이유는 무엇인가? 사람의 언어는 의미를 전달하기 위해 특별하게 구성된 시스템이라고 말한다. 언어는 signifier(기호) 에 매핑된 signified(개념, 의미)라고 한다. 사람이 Rocket이라는 단어(signifier)를 보고 로켓을 연상해 낸다. NLP란 무엇인..

Contents Detection Object detection은 Localization과 비교해서 다양한 object들에 class분류와 위치를 파악해야되기 때문에 쉽지않은 문제다. object detection을 수행하기 위해서는 객체의 Region proposals을 찾아주는 작업이 필요하다. Region proposals을 찾아주기 위한 방법으로 Selective Search가 있다. Selective Search는 객체인식을 위한 후보 영역을 알아낼 수 있는 방법을 제공하는 것을 목표로 한다. Selective Search는 Exhaustive search(모든 객체의 위치를 찾아내는 것)와 Segmentation 방식을 결합하여 보다 뛰어난 후보 영역을 선택하는 것이다. Segmentation..

Localization - Localization as regression - Overfeat 본 강의에서는 위 내용들을 다루어볼 것이다. Computer Vision Tasks Computer vision Tasks는 크게 4가지로 나눌 수 있다. 이미지상의 하나의 물체에 대해서 어떤 클래스에 속하는지 찾아주는 것을 Classification, classification 뿐만 아니라 물체의 위치정보를 바운딩 박스를 이용해 나타내주는 것을 Localization, 한 이미지 내에서 다양한 물체들의 클래스와 위치를 찾아주는 것을 Object Detection, 이미지 상에서 해당 물체와 배경을 인식해 물체의 영역만을 찾아주는 것을 Instance Segmentation이라고 부른다. Classificati..

edwith 주재걸교수님의 강의를 참고하였다. 핵심키워드 $Linear\ Independence\ and\ Linear\ Dependence\ Sub\ space $ 일단 우리는 $b \in Span\{a_{1},a_{2},a_{3}\} $ 라고 하자. 그러면 $b$가 Span 안에 들어오게 되며, solution을 가지게 된다. 그럴 때 이 solution은 unique한 것일까? 1. $a_{1},a_{2}\ and\ a_{3}$가 Linear Independence 라면 값은 unique하다. 2. $a_{1}, a_{2}\ and\ a_{3}$가 Linear Dependence 라면 solution은 매우 많은 값을 가지게 된다. 무수히 많은 해를 가진다는 말은 어떤 뜻일까? 우리는 각각의 재료 ..