ok-lab

Contents 프로젝트 주제 Sentence Textual Similarity (STS): 입력으로 주어진 두 문장이 의미적으로 얼마나 유사한지 판단하는 Task. STS에 사용되는 모델 톺아보기. RoBERTa, SimCSE, BERT, Sentence-BERT, Electra RoBERTa의 경우 token_type_ids를 입력으로 받지 않기 때문에 Model 입력에 token_type_ids를 사용하지 않아도 됨. Separate Token [SEP] 대신 , 등으로 문장을 구분하기 때문에 Sentence 1과 Setence 2를 Concatenation 단계에서 sentence 1 sentence 2 로 사용함. Pytorch Lightning이 아닌 Pytorch로 구현 Pytorch Lig..

어느덧 부스트캠프 과정이 5주차에 달했다. 5주차에는 NLP 기초 이론, RNN, LSTM, GRU, Transformer 등의 모델 구현을 상세히 다루고, 예제를 통해 놓쳤던 부분을 디테일하게 다룰 수 있었다. 그리고 BERT를 직접 fine-tuning 하는 방법도 다루어서 좋았다. 피어세션 지금 구성된 팀에서는 피어세션 때 매번 새로운 논문을 리뷰하고 있다. 이번주에 내가 발표한 논문은 " Improve Transformer Models with Better Relative Position Embeddings" 라는 논문으로, Position Embedding을 학습해서 Position 정보에서 조금 더 Abundent한 정보를 추출할 수 없을까? 라는 아이디어로 시작되었다. 기존에도 Relativ..

Contents Deep Learning 3주차에는 딥러닝이 어떻게 작동되는지에 대해서 학습했다. 기본적인 MLP 모델 부터, CNN, RNN, LSTM, Transformer 등 다양한 모델을 밑바닥부터 구현하는 것을 배웠으며, 마지막으로는 Generative Model 에 대해서도 다루었다. Generative Model은 AutoRegressive 모델과 Generative 모델로 나뉘고 각 방법론에 대한 대표 모델을 함께 다루고, Diffusion Model도 간략하게 다루었다. Diffusion Model은 Geverative Model 뿐만 아니라, 최근에는 추천 시스템에서도 사용되는 모델인데, 처음 접하는 것이 어려웠지만 쉽게 풀어서 정리해주셔서 이해하는 것이 쉬웠다. Vision Trans..

Contents PyTorch PyTorch 기초 문법 등을 다루고, PyTorch를 통한 다양한 예제를 다루었다. 딥러닝을 학습하기 위해 필요한 DataLoader, Dataset, Collate_fn 등의 함수를 세부적으로 뜯어보고, PyTorch에 있는 함수 등을 상세하게 다루었다. Numeric Data, Unstructured Data (이미지, 자연어 처리) 등 전체적으로 다루는 것 같다. 아직 세부 트랙별 과제로 나온게 아니라 모든 데이터에 대해서 다루는 것 같다. 추가적으로, Wandb, TensorBoard, Ray 등 모델 학습 관리에 있어 필요한 모델들에 대해서 배우고, 분산 처리, 최적화 등과 관련된 모델에 대해서도 배워서 나중에 많은 도움이 될 것 같다.