[부스트캠프 AI Tech NLP] 네이버 부스트 캠프 5주차 회고

 

 

어느덧 부스트캠프 과정이 5주차에 달했다. 5주차에는 NLP 기초 이론, RNN, LSTM, GRU, Transformer 등의 모델 구현을 상세히 다루고, 예제를 통해 놓쳤던 부분을 디테일하게 다룰 수 있었다. 그리고 BERT를 직접 fine-tuning 하는 방법도 다루어서 좋았다. 

 

피어세션

지금 구성된 팀에서는 피어세션 때 매번 새로운 논문을 리뷰하고 있다. 이번주에 내가 발표한 논문은 " Improve Transformer Models with Better Relative Position Embeddings" 라는 논문으로, Position Embedding을 학습해서 Position 정보에서 조금 더 Abundent한 정보를 추출할 수 없을까? 라는 아이디어로 시작되었다. 기존에도 Relative Position Embedding이 제안되었으나, 기존 연구의 문제점을 개선한 방법을 제안하였다. Position Embedding을 학습하게 되면, 그만큼 Parameter의 수도 증가하게 되는데, BERT의 파라미터 수가 워낙 많기 때문에 그정도는 무시할 수 있는 수준이라고 언급하였다.