ok-lab

본 논문은 NIPS'22 에서 발표된 논문이며, 이름에서도 알 수 있듯, Perturbation을 통해 Anomaly Detection을 수행하는 PLAD (Perturbation Learning Anomaly Detection) 기법을 제안한다. 여기서 Perturbation은 아주 작은 노이즈를 의미하며, 정상(Normal) 데이터에 작은 노이즈를 집어 넣어 성능을 개선한다는 내용이다. 이때 정상 데이터에 너무 심한 노이즈를 집어넣을 경우 오히려 성능이 저하될 수 있기 때문에 Perturbator를 제대로 구축하는 것이 핵심이며, 이 논문에서는 어떤 방식으로 수행하였는지 알아보자. $\mathbb{X} = {x_1, x_2, \cdots, x_n}$를 학습 데이터라고 표현하면, 학습 데이터로 $f(x..

Contents 기존 연구의 경우 이상치 탐지(Anomaly Detection)를 수행할 때 각각의 클래스 별로 별도의 모델을 생성하는 문제점이 존재했다[Figure 1]. 본 연구는 이상치 탐지에 있어 별도의 모델을 구축하는 것이 아니라, 통합된 모델을 구축한다는 것이 핵심이다. 실험 결과, 본 연구에서 제안하는 UniAD 기법의 성능이 우수한 것을 확인하였다. 기존 연구에서 사용되는 CNN, MLP, Transformer 등과 같은 기법은 클래스를 모두 합쳐서 학습하는 경우 이상치 마저도 잘 복구해서 이상치가 어떤 것인지 제대로 발견하지 못한다는 문제가 존재한다[Figure 2]. 본 연구에서는 이를 해결하기 위해 모델을 Neighbor masked attention, Layer-wise query ..

Contents 기존 Data Augmentation 방식은 Heuristic하게 적용하기 때문에 도메인에 따라 성능이 달라진다는 문제점이 존재한다. 본 연구에서는 Fairness-aware한 방식을 통해 Data Augmentation을 수행하는 Graphair 기법을 제안하였다. Introduction Graph Neural Network (GNN) 기법은 Knowledge Graph, Social Media, Molecular Prediction 등과 같은 다양한 분야에서 우수한 성능을 보이고 있다. 그러나, 대부분의 GNN 기법은 인종, 성별 등과 같은 민감한 정보에 따라 다른 예측값을 도출하는 문제가 존재한다. 이와 같은 문제를 해결하고자 Node Feature Masking, Edge Pert..

Contents 해당 논문은 기존 추천 관련 연구에서는 주로 Spatial 정보만을 고려하고 Temporal 정보는 고려하지 않는 문제점을 해결하고자, Spatial-Temporal Aggregation Method (STAM) 기법을 제안하였다. Introduction Graph Neural Network (GNN)의 성능이 우수한 것으로 검증된 후 Recommendation 분야에서는 주로 GNN 기법을 기반으로 추천 시스템을 구축하고 있다. Recommendation에 적용된 GNN의 Aggregation Function을 종합하면 1) Mean Pooling, 2) Degree Normalization, 3) Attentive Pooling, 4) Central Node Augmentation 으..

Contents GSL4Rec 기법은 빠르게 변화하는 소셜 네트워크에 적용하기 위해 확장성(Scalability)과 유효성(Effectiveness)이 고려된 기법이다. GSL4Rec 기법은 Coarse Neighbor Screening과 Self-adaptive Graph Sructure Learning 총 2 stage로 구성되어 있다. 또한, 단계별 휴리스틱 방법을 적용하여 더 쉽게 Global Optima에 도달하도록 만들어 효율성을 향상시켰다. Introduction Session-based Recommendation은 Session 안의 사용자의 행동을 기반으로 사용자가 선호하는 것을 예측하는 것을 목표로 한다. 최근에는 사용자 간의 관계 등과 같은 정보를 추가로 고려하는 Session-bas..

Contents 본 연구에서는 Self-supervised Learning을 적용한 Model-agnostic 기법인 CL4CTR 기법을 제안한다. CL4CTR 기법은 Contrastive Loss, Feature Alignment, Field Uniformity로 구성되어 있다. Introduction CTR Prediction Task는 제품이 클릭될 확률을 계산하는 Task로 널리 사용되는 Task 중 하나이다. 기존 CTR Prediction의 경우 크게 두 가지로 나눌 수 있다. 1) Traditional Methods (such as Logistic Regression, Factorization Model), 2) Deep-learning Based Methods (such as xDeepFM..

Contents Point-of-interest (POI)는 장소를 추천하는 Task라고 볼 수 있다. 기존 POI 연구에서는 대부분 User와 Location을 따로 분리하여 모델링하고 있으며, 사용자의 장소에 대한 시공간적 수용(Acceptance) 범위를 무시하고 있다. 본 연구에서는 이와 같은 문제를 해결하고자, Knowledge Graph with Temporal information (TKG)를 구성하여 Timestamp와 User, Location을 함께 고려하고자 TKG를 기반으로 한 Spatial-Temporal Graph Convolutional Attention Network (STGCAN) 기법을 제안한다. Introduction POI Recommendation은 사용자가 선호할 ..

Contents 기존 연구에서 주로 사용하는 Sequential Recommendation은 Local Context Information을 사용하거나 오직 Item Loss만을 사용해서 구축하고 있기 때문에, Sequence Representation을 제대로 학습하지 못한다는 문제점을 언급하며, 이를 해결하기 위해 Weighted Item Transition Graph (WITG)를 사용하는 Graph Contrastive Learning for Sequential Recommendation (GCL4SR) 기법을 제안하는 논문이다. Introduction Sequential Recommendation의 State-of-the-art (SoTA) 모델들은 우수한 성능을 보이고 있으나, 다음과 같은 문..

Contents 이미지, 자연어처리 등과 같은 분야에서 BERT, GPT-3, CLIP 등의 대규모 사전 학습 모델의 성능이 우수한 것은 이미 검증되었다. 그러나, User Representation 에서 범용적으로 사용될 수 있는 모델에 대한 연구는 아직 많이 연구되지 않고 있다. 본 연구에서는 Large-Scale User Encoder를 학습함으로써 범용적으로 사용될 수 있는 User Representation 학습이 가능한 Contrastive Learning User Encoder (CLUE)를 제안하였다. Introduction 비전, 음성 등과 같은 분야에서는 Foundation Model이라고 불리는 Large-Scale Model (BERT, GPT-3, CLIP, etc.)이 자주 제안..

Contents BERT4Rec은 모델명 그대로 BERT를 이용한 Recommendation 모델이다. Sequential 데이터를 다룰 때 주로 사용하는 기법으로, SASRec 다음으로 나온 모델이라고 볼 수 있다. SASRec과 다른 점은 Bidirectional 하다는 점과 Masking 기법을 사용한다는 점이다. Introduction 기존 Sequence 데이터를 다루는 추천 시스템 연구에서는 주로 Recurrent Neural Network (RNN) 과 같은 기법을 사용하여 Encoding한다. 그러나 RNN 기법은 왼쪽에서 오른쪽으로, 즉, 입력으로 들어오는 제품의 순서만을 고려하기 때문에 left-to-right 방식(Undirectional)은 사용자의 표현(Representation)..