ok-lab

Contents 프로젝트 주제 Sentence Textual Similarity (STS): 입력으로 주어진 두 문장이 의미적으로 얼마나 유사한지 판단하는 Task. STS에 사용되는 모델 톺아보기. RoBERTa, SimCSE, BERT, Sentence-BERT, Electra RoBERTa의 경우 token_type_ids를 입력으로 받지 않기 때문에 Model 입력에 token_type_ids를 사용하지 않아도 됨. Separate Token [SEP] 대신 , 등으로 문장을 구분하기 때문에 Sentence 1과 Setence 2를 Concatenation 단계에서 sentence 1 sentence 2 로 사용함. Pytorch Lightning이 아닌 Pytorch로 구현 Pytorch Lig..

이번주차에는 STS (Sentence To Similarity) Task 를 다루었다. 그리고, N21, N2N, N2M 등 NLP Task의 다양한 유형에 대해서 다루어 보았다. 간단한 예제를 다루게 되고, 예제를 통해 실제 작동되는 방법을 다룰 수 있어서 좋았다. 피어 세션 피어 세션에는 Sentence BERT, SimeCSE, RoBERTa 등 NLP 관련 과거 논문 및 Self-supervised Learning에 대해서도 다루어서 NLP Task를 더 깊게 이해할 수 있게 되었다. STS Competition KoSTS 데이터를 바탕으로 실험을 진행하여, 리더보드에 성능을 비교하게 되었는데, 팀원분들이 다들 열심히 해주셔서 새로운 방법으로도 접근할 수 있게 되고 다른 시각을 배울 수 있게 되어..

어느덧 부스트캠프 과정이 5주차에 달했다. 5주차에는 NLP 기초 이론, RNN, LSTM, GRU, Transformer 등의 모델 구현을 상세히 다루고, 예제를 통해 놓쳤던 부분을 디테일하게 다룰 수 있었다. 그리고 BERT를 직접 fine-tuning 하는 방법도 다루어서 좋았다. 피어세션 지금 구성된 팀에서는 피어세션 때 매번 새로운 논문을 리뷰하고 있다. 이번주에 내가 발표한 논문은 " Improve Transformer Models with Better Relative Position Embeddings" 라는 논문으로, Position Embedding을 학습해서 Position 정보에서 조금 더 Abundent한 정보를 추출할 수 없을까? 라는 아이디어로 시작되었다. 기존에도 Relativ..

Contents Deep Learning 3주차에는 딥러닝이 어떻게 작동되는지에 대해서 학습했다. 기본적인 MLP 모델 부터, CNN, RNN, LSTM, Transformer 등 다양한 모델을 밑바닥부터 구현하는 것을 배웠으며, 마지막으로는 Generative Model 에 대해서도 다루었다. Generative Model은 AutoRegressive 모델과 Generative 모델로 나뉘고 각 방법론에 대한 대표 모델을 함께 다루고, Diffusion Model도 간략하게 다루었다. Diffusion Model은 Geverative Model 뿐만 아니라, 최근에는 추천 시스템에서도 사용되는 모델인데, 처음 접하는 것이 어려웠지만 쉽게 풀어서 정리해주셔서 이해하는 것이 쉬웠다. Vision Trans..

Contents PyTorch PyTorch 기초 문법 등을 다루고, PyTorch를 통한 다양한 예제를 다루었다. 딥러닝을 학습하기 위해 필요한 DataLoader, Dataset, Collate_fn 등의 함수를 세부적으로 뜯어보고, PyTorch에 있는 함수 등을 상세하게 다루었다. Numeric Data, Unstructured Data (이미지, 자연어 처리) 등 전체적으로 다루는 것 같다. 아직 세부 트랙별 과제로 나온게 아니라 모든 데이터에 대해서 다루는 것 같다. 추가적으로, Wandb, TensorBoard, Ray 등 모델 학습 관리에 있어 필요한 모델들에 대해서 배우고, 분산 처리, 최적화 등과 관련된 모델에 대해서도 배워서 나중에 많은 도움이 될 것 같다.

Contents 운이 좋게도, 부스트캠프 AI Tech 6기에 참여하게 되었다. 내가 참여한 트랙은 자연어처리(NLP) 트랙이다. 원래 추천 시스템을 전공했기 때문에 RecSys에 참가하려고 했으나, 최근 NLP 관련 공고가 많아지고 있으며, 추천 시스템만 다루어서 취업을 하기엔 다소 어려움이 있다 생각하여 NLP 트랙으로 지원하였다. Python, 수학 첫 1주차에는 Python 기초 강의와 AI에 필요한 수학 지식(확률론, 수리 통계학 등)을 개략적으로 다루는 것을 시작으로, 딥러닝 관련 기초 내용들을 다루었다. 아무래도 대학원 시절에 해당 내용을 다루어 상대적으로 쉽게 다룰 수 있었던 내용이었다. 내용이 그래도 쉽기는 하지만 양이 엄청나게 많다.. 매일 꾸준히 들어야 겨우 이수할 수 있을 것 같다...