[부스트캠프 AI Tech NLP] 네이버 부스트 캠프 3주차 회고

Contents

 

Deep Learning

3주차에는 딥러닝이 어떻게 작동되는지에 대해서 학습했다. 기본적인 MLP 모델 부터, CNN, RNN, LSTM, Transformer 등 다양한 모델을 밑바닥부터 구현하는 것을 배웠으며, 마지막으로는 Generative Model 에 대해서도 다루었다. 

 

Generative Model은 AutoRegressive 모델과 Generative 모델로 나뉘고 각 방법론에 대한 대표 모델을 함께 다루고, Diffusion Model도 간략하게 다루었다. Diffusion Model은 Geverative Model 뿐만 아니라, 최근에는 추천 시스템에서도 사용되는 모델인데, 처음 접하는 것이 어려웠지만 쉽게 풀어서 정리해주셔서 이해하는 것이 쉬웠다. 

 

Vision Transformer

Transformer는 NMT(Neural Machine Translation) 즉, 기계번역을 하기 위해 처음 제안된 모델이었으나, 비전, 음성, 추천 등 다양한 분야에서 Transformer 기반의 모델을 구축하고 있고, 해당 모델이 SoTA인 경우가 대부분이다. 컴퓨터 비전 분야에서 가장 유명한 모델 중 하나인 ViT에 대해서 구현하는 방법을 다루었다. ViT를 기반으로 Swin Transformer 등의 모델이 제안되었는데, 추후에는 이와 같은 모델도 다루어보면 좋을 것 같다.

 

 

Study

6조에서는 매일 한 사람씩 돌아가면서 논문 스터디를 진행하기로 했다. "Attention is all you need" Transformer 논문을 시작으로, ViT, Sparse Transformer, SBERT 등 다양한 논문을 발표하면서 서로의 지식을 쌓기로 했다.