ok-lab

다음의 사진은 Semantic Segmentation을 하는 과정을 설명한다. 우리는 이미지에서 각 pixel마다 그 pixel이 어떤 것인지 분류를 하는 문제다. 우리는 이전에 AlexNet, GoogLeNet, ResNet 등 여러 CNN model을 공부해왔다. 만약 개, 고양이를 분류하는 문제를 다룬다고 할 때 이미지의 라벨이 개인지 고양인지 분류하는 문제로 접근하는 것이 아니라, 해당 pixcel은 배경이고, 사람이고, 물체임을 분류하는 방식의 접근이 Semantic Segmentation이다. Semantic Segmentation은 여러 용어로 불리우는데 Dense Classificaiton 혹은 per pixel classification이라고 한다. 딱봐도 일반적인 이미지를 분류하는 문제..

해당 강의에서는 CNNs을 다루기 전 RNN의 단점에 대해서 먼저 다룬다. RNN은 Prefix(접두사) context를 모두 포함하게 되며 Piece of sentence로 나누지 못한다는 단점이 있고, Sequence to Sequence의 모델을 살펴볼때 앞 단 Encoder부분의 RNN에서 Decoder로 보내주는 과정의 Last hidden state는 Last token에 영향을 많이 받게 된다. 또한 단어의 길이가 길어지면 정보의 손실이 발생할 수 있다는 것이 큰 문제이다. GRU나 LSTM 등 모델을 사용하거나 Encoder 부분에 Attention을 사용해 문제를 보완하곤 했다. CNNs CNNs 에서는 특정 길이로 Sub-sequence로 분할한 후 Feature를 추출하는 과정으로 접..

Multi-layer Perceptron (MLP) 단층 퍼셉트론은 Linear - model 이다. ( logistic, Multiple linear regression, ...) 선형 모델은 식의 복잡도가 낮은 것이 한계점이다. 복잡도가 낮기 때문에 좋은 예측 성능을 찾아내기 힘들다. (단, 설명변수와 종속변수 간의 관계가 선형이 아닐경우) 기존의 단층 퍼셉트론에서 XOR을 할 경우 모델을 정확하게 구분하기에 어려움을 겪었다. 선을 하나만 그어서는 문제가 발생하기 때문에 선을 여러개를 그어서 합치자 라는 것이 Multi-layer Perceptron (MLP)의 개념이라고 할 수 있다. 복잡한 문제를 바로 풀 수 없다면 분해하여 각각을 구분하는 것이다. 왼쪽 하단의 점을 구분할 수 있는 퍼셉트론을 하..