ok-lab

Contents 기존 Data Augmentation 방식은 Heuristic하게 적용하기 때문에 도메인에 따라 성능이 달라진다는 문제점이 존재한다. 본 연구에서는 Fairness-aware한 방식을 통해 Data Augmentation을 수행하는 Graphair 기법을 제안하였다. Introduction Graph Neural Network (GNN) 기법은 Knowledge Graph, Social Media, Molecular Prediction 등과 같은 다양한 분야에서 우수한 성능을 보이고 있다. 그러나, 대부분의 GNN 기법은 인종, 성별 등과 같은 민감한 정보에 따라 다른 예측값을 도출하는 문제가 존재한다. 이와 같은 문제를 해결하고자 Node Feature Masking, Edge Pert..

Contents 본 논문은 Graph Neural Network (GNN)의 over smoothing 문제를 해결하고자 Propagation Operation과 Transformation Operation의 순서를 바꾸어 성능을 개선시킨 연구다. Adaptive Inital Residual (AIR)을 제안하고 있으며, AIR은 추후 내용에서 자세히 다루어보자. 1. Introduction GNN은 node-level, edge-level, graph-level task를 하기 위해 많이 사용되고 있으며, 소셜 네트워크, 화학, 생물학, 추천 시스템 등 다양한 분야에서 사용된다. GNN 모델 중 가장 대표적인 모델은 GCN(Graph Convolution Network)라고 할 수 있으며, GCN은 P..

Contents Attention이라는 개념은 자연어처리(Natural Language Processing; NLP)를 공부하는 사람이라면 한 번쯤은 들어봤을 개념이다. RNN에서 장기 의존성 문제로 인해 LSTM, GRU 등의 모델이 제안 되었으나, 이 역시도 장기 의존성 문제를 완벽히 해결할 수 있진 않았다. 이를 해결하기 위해 나온 개념이 Attention 개념이다. Attention의 기본 아이디어는 입력 받은 데이터를 매 step 마다 참고하여 중요한 혹은 관련이 있다고 판단되는 정보에 치중되어 결과값을 산출하는 방식이다. 본 논문은 이러한 매커니즘을 그래프에 적용한 Graph Attention Networks (GAT)를 제안하였다. Introductions 이미지나 기계 번역, 감성 분석 등..

Contents Abstract GCN과 GCN을 변형한 다양한 모델들은 상당한 주목을 받아왔으며, 사실상(de facto) Graph Representation을 학습할 때 가장 좋다고 알려진 방법이다. GCN은 CNN을 기반으로 진행되는데, 이 방식은 불필요한 복잡성과 중복된 계산이 요구된다. 따라서, 본 논문에서는 비선형성을 제거하고, Layer 사이의 Weight Matrix를 축소함으로써 GCN이 가지고 있는 과도한 복잡성을 줄였다. 복잡도는 줄였지만 많은 다운스트림 태스크에서 정확도에 부정적인 영향을 주지 않는다는 것을 검증하였다. 또한, 더 큰 데이터셋으로 확장이 가능하고 해석 가능성이 높아지며, FastGCN에 비해 속도는 최대 2배 가량 향상되었다. Introduction Simplify..

Contents Convolutional Neural Network on Graphs with Fast Localized Spectral Filtering (2016)은 NeuIPS에 나온 논문으로 처음으로 ChebNet을 제안한 논문이다. ChebNet은 Chebyshev polynomial을 사용한 네트워크이며, 논문을 읽으면서 자세하게 다루어보자. 본 글은 요약을 하는 것이 목적이기 때문에 관련 연구 항목은 리뷰를 하지 않을 것이다(관련 연구는 개인적으로). Abstract CNN의 구조는 일반적으로 음성, 비디오, 이미지 등의 분야에 많이 사용되었다.그러나, 소셜 네트워크, 뇌 구조, 그래프 표현 등의 고차원적인 구조를 다루는 것에 있어서는 어려움이 존재하기 때문에 본 연구는 CNN(Convolu..

Contents Contribution 본 논문은 Graph Convolution Network (GCN)을 처음 제안한 논문이며, GCN은 Adjacency Matrix, Degree Matrix 혹은 Feature Matrix를 이용하여 그래프를 Representation하는 신경망이다. GCN에는 Spatial GCN과 Spectral GCN이 존재하는데, 본 논문에서는 Spectral GCN을 통해 두 가지 Contribution을 했다고 언급한다. 1. 간단하고 잘 작동(behave)하는 Layer-wise Propagation rule을 설명하고, 이 방법이 Spectal graph Convolution의 빠르고 효율적인 1차 근사임을 증명한다. 2. 기존의 semi-supervised 연구들..