Graph Neural Networks 3

Alleviating Structural Distribution Shift in Graph Anomaly Detection (WSDM'23)

Contents 해당 논문은 WSDM'23에서 발표된 논문이며, 논문 제목에서도 알 수 있듯, Structural Distribution Shift (SDS) 문제를 완화한 Graph Anomaly Detection 모델을 제안한다. SDS 문제는 정상 데이터에 비해 비정상 데이터의 수가 매우 적어서 발생하는 문제를 의미한다. 본 논문에서는 특정 지점에서의 이질적인 이웃의 영향을 완화하고, Invariant하도록 만들기 위한 Graph Decomposition Network (GDN) 기법을 제안하였다. Link: https://github.com/blacksingular/wsdm_GDN GitHub - blacksingular/wsdm_GDN: [WSDM 2023] "Alleviating Structr..

[Pytorch] Neural Graph Collaborative Filtering (NGCF) 구현하기

Contents Neural Graph Collaborative Filtering (NGCF)는 기존의 협업 필터링(Collaborative Filtering)이 고차-연결성(High-Order Connectivity)을 고려하지 못한다는 단점을 극복하고자 그래프를 협업 필터링에 도입 시킨 기법이다. 전통적인 협업 필터링은 user-item interaction만을 고려하게 된다. 대표적인 Neural Collaborative Filtering (NCF)를 생각해보면 사용자 ID와 제품 ID를 내적하거나 연결(Concatenate)하여 사용자의 제품에 대한 구매 확률을 도출한다. 그렇기 때문에 제품과 다른 사용자 간의 관계 즉, 고차-연결성을 고려하지 못한다는 것이다. 예를 들어 $u_1 \leftarr..

Python/Pytorch 2023.01.01

Graph Attention Networks (ICLR'18)

Contents Attention이라는 개념은 자연어처리(Natural Language Processing; NLP)를 공부하는 사람이라면 한 번쯤은 들어봤을 개념이다. RNN에서 장기 의존성 문제로 인해 LSTM, GRU 등의 모델이 제안 되었으나, 이 역시도 장기 의존성 문제를 완벽히 해결할 수 있진 않았다. 이를 해결하기 위해 나온 개념이 Attention 개념이다. Attention의 기본 아이디어는 입력 받은 데이터를 매 step 마다 참고하여 중요한 혹은 관련이 있다고 판단되는 정보에 치중되어 결과값을 산출하는 방식이다. 본 논문은 이러한 매커니즘을 그래프에 적용한 Graph Attention Networks (GAT)를 제안하였다. Introductions 이미지나 기계 번역, 감성 분석 등..

반응형