ok-lab

pytorch를 다루다 보면 많은 에러에 직면할 때가 있다. `Broken pipe`를 접하게 되는 경우 당황할 수 있으나, 매우 간단하게 해결되는 오류이다. 이와 같은 오류를 발생하는 원인은 바로 num_workers에 있다. num_workers=0이 아닌 다른 값을 넣을 경우 자주 발생하며 num_workers=0으로 지정하면 바로 해결된다.

Contents LSTM (Long Short-Term Memory)은 RNN (Recurrent Neural Network)가 가지고 있는 장기 의존성 문제(long term dependency)를 해결하기 위해 제안된 모델이다. hidden state $h_t$와 cell state $c_t$로 구성되어 있으며, $h_{t-1}$은 t-1번째 Layer의 hidden state를 의미한다. $h_0$은 초기 hidden state를 의미하며, 0으로 설정한 후 학습을 진행한다. \[ \begin{equation} \begin{split} i_t & = \sigma(W_{ii} x_t + b_{ii} + W_{hi} h_{t-1} + b_{hi} ) \\ f_t & = \sigma ( W_{if} x_..

tensorflow 같은 경우에는 model.summary()를 통해서 간편하게 모델의 정보를 확인할 수 있다. 그렇다면 PyTorch에서는 불가능할까? 아니다!! Torch도 torchsummary를 지원해주고 있기에, torchsummary를 설치하면 확인할 수 있다. 확인하기에 앞서 우리는 이런 구조의 간단한 CNN을 만들 수 있을 것이다. 그런다음 아래의 코드를 실행하면 tensorflow의 model.summary()와 유사한 그림을 가지고 올 수 있다. from torchsummary import summary​ 각 layer의 output shape와 각 parameter에 대한 정보도 다 나온다. 또한 용량까지 나오니 엄청나게 좋다..! 한가지 단점이 있다면 아래와 같이 model의 inp..

CUDA error: device-side assert triggered 에러는 복잡해보이지만 매우 단순한 에러이다. 입출력 차원(dimension)이 제대로 맞지 않아서 발생하는 경우가 많다. 입력 출력 간 차원을 제대로 매칭시켜주면 별다른 문제가 발생하지 않는다.