ok-lab

오차 역전파는 딥러닝의 기초라고 할 수 있다. 이전까지 우리는 수치 미분을 통해 기울기를 구해 학습했지만, 이 방법은 매우 시간이 오래 걸린다. 그렇기에 딥러닝에서는 가중치의 기울기를 효율적으로 계산하는 오차역전파법(backpropagation)을 사용한다. 위와 같이 왼쪽에서 오른쪽으로 노드$^{\mathsf{node}}$에서 엣지$^{\mathsf{edge}}$를 거쳐 계산이 되는 방식을 순전파(forward propagaction)이라고 한다. 그 반대로 진행하는 것을 우리는 역전파라고 부른다. 역전파는 순전파와 달리 굵은 선을 표시하며 이 전파는 '국소적 미분'을 전달하고 아래의 수치는 미분 값을 의미한다. 여기서 '국소적 미분'을 전달하는 원리는 연쇄법칙(chain rule)에 따라 전달하게 된..

Training Neural Network Transfer learning을 진행할 때 고려할 점. 1) Pre-train data와의 이질성 2) Finetuning할 데이터의 양 3) 분석에 할당된 시간 4) 가용한 hardware ... 하나의 layer에서 activation function으로 들어가게 되는데 layer의 값은 $\Sigma w_{i}x_{i} + b$로 선형조합으로 나타낼 수 있다. 그 선형조합을 비선형조합의 activation function으로 넣게 된다. 만약 activation function 자체가 linear라고 생각해보면 layer를 stacking 하는 것 자체가 의미가 없어진다. 왜냐하면 linear function을 activate function으로 사용하게..

오늘 읽은 논문은 A RNN-based Multi - Period Recommender System considering Repurchase Behavior 이다. 기존의 추천시스템의 한계를 확장시킬 수 있는 재구매가 빈번하게 일어나는 경우 구매순서를 고려한 RNN기반 추천시스템을 개발하는 논문이다. 기존의 CF(Collaborative Filtering : 협업필터링)기반 추천시스템보다 정확도 및 다양성 측면에서 추천 품질이 높아질 수 있다는 결과를 실제 데이터를 사용한 실험에서 도출해냈다고 한다. keywords : 추천시스템, 순환신경망(RNN), 구매 순서, 시계열 데이터 분석 추천시스템 : 정보 과부화가 초래된 현 상황에서 정보 과부화를 줄여 선택을 돕기 위한 진화된 방식의 정보 검색 Colla..