[Recommender System] 이웃 기반 방법론 - Cosine, Pearson

이웃 기반 방법론은 사용자-사용자 간 유사도 혹은 상품-상품 간 유사도를 이용하자는 아이디어에서 시작됐다. 이웃 기반 모델에서는 다음과 같은 두 가지 기본 가정을 설정한다. NBCF(Neighbor Based Collaborative Filtering)라고 불리기도 한다. 

 

1. 사용자 기반 모델 : 유사한 사용자들은 같은 상품에 대해 비슷한 평점을 부여한다.

2. 아이템 기반 모델 : 유사한 상품은 동일한 사용자에세 비슷한 방식으로 평점이 부여된다.

 

사용자 기반 이웃 모델을 구성하기 위해서는 타깃 사용자($i$)와 유사한 사용자를 찾기 위해서는 다른 모든 사용자와의 유사도를 계산해야한다. 유사도 계산을 수행할 때에는 사용자마다 본인의 기준이 다르기 때문에 평점 스케일이 다를 수 있음을 고려하고 계산을 수행하여야 한다. 또한 사용자들은 같은 상품에 대해서만 평가하지 않을 수 있다. 

 

사용자($m$)와 상품($n$)의 $m\times n$ 평점 행렬 $R=[r_{uj}]$에서 $I_u$는 사용자($u$)가 측정한 평점 set를 의미한다. 그리도 다른 사용자($v$)가 측정한 평점 set $I_v$가 존재할 것이며, 두 사용자가 모두 측정한 아이템 집합은 $I_u\cap I_v$로 나타낼 수 있다. 

 

$R$은 그 자체가 sparse하기 때문에 $I_u\cap I_v=\varphi$ 일 가능성이 높다. 우리는 $I_u\cap I_v$ 를 통해서 사용자 간 유사도를 계산한다. $I_u\cap I_v$ 자체가 사용자($u,v$) 모두 평점을 측정한 상품 집합이기 때문에 해당 집합 내에 존재하는 상품에 대해서만 계산을 하면 된다. 각 사용자에 대한 평균은 다음과 같이 계산된다.

${\mu }_u=\frac{{\mathrm{\Sigma }}_{k\in I_u}{r}_{uk}}{|I_u|}\mathrm{\forall }u\in 1,...,m$

 

$Sim(u,v)=Pearson(u,v)$

 

= $\frac{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u)\cdot (r_{vk}-{\mu }_v)}{\sqrt{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u{)}^2}\cdot \sqrt{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u{)}^2}}$

 

$Pearson(u,v)$의 전통적 정의는 $\mu$를 계산할 때 $u,v$ 모두가 평점을 매긴 아이템에 대해서만 계산을 해야한다. 하지만 위 평균 평점을 계산하는 수식이 간단하기 때문에 일반적으로 위 방식을 사용한다. 만약 전통적인 $Pearson$을 사용하게 된다면, 각 사용자 피어 그룹 간 동일하게 평점을 측정한 아이템이 다르기 때문에 다르게 계산을 진행하여야 한다. 그렇게 진행할 경우 수식이 엄청 복잡해지기 때문에 간단한 방식을 사용하는 것이다. 우리는 추천 시스템에서 $Pearson$ 상관 계수를 사용한다. 하지만 일반적으로 유사도를 생각할 때에는 $euclidean$ 이나 $Cosine$ 을 생각할 수 있다. 그렇다면 왜 추천 시스템에서는 $Pearson$ 을 사용하는 것일까? $Cosine$ 과 $Pearson$은 매우 유사한 수식을 가지고 있다. $Cosine$ 의 특수한 경우를 $Pearson$ 이라고 부르기도 한다. 다음의 수식을 한 번 확인하면 조금 더 이해하기 쉬울 것이다. 

 

1. $Cosine$

$Cos(u,v)=\frac{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}{r}_{uk}\cdot r_{vk}}{\sqrt{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}{r}_{uk}^2}\cdot \sqrt{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}{r}_{vk}^2}}$

 

2. $Pearson$

$Pearson(u,v)=\frac{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u)(r_{vk}-{\mu }_v)}{\sqrt{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}(r_{uk}-{\mu }_u{)}^2}\cdot \sqrt{{\mathrm{\Sigma }}_{k\in I_u\cap I_v}(r_{vk}-{\mu }_v{)}^2}}$

 

각 사용자마다 본인만의 기준이 있어서 아이템에 부여하는 평점이 다를 수 있다. 예를 들면 사용자($u$)는 평점을 일반적으로 후하게 주는 사람이라 높은 평점을 주는 방면 사용자($v$)는 평점을 부여할 때 평균적으로 낮은 평점을 부여할 수 있다. 사용자의 평균 평점을 고려하지 않고 추천 시스템을 구현할 경우 다소 문제가 발생할 수 있기 때문에 추천 시스템에서는 사용자의 평균 평점을 뺀 $Pearson$ 상관 계수를 주로 사용한다. 

 

이렇게 유사도를 계산한 후 사용자의 평점을 예측하기 위해서는 다음과 같은 식을 사용한다. 

 

${\hat{r}}_{uj}={\mu }_u+\frac{{\mathrm{\Sigma }}_{v\in P_u(j)}Sim(u,v)\cdot s_{uj}}{{\mathrm{\Sigma }}_{v\in P_u(j)}|Sim(u,v)|}={\mu }_u+\frac{{\mathrm{\Sigma }}_{v\in P_u(j)}Sim(u,v)\cdot (r_{vj}-{\mu }_v)}{{\mathrm{\Sigma }}_{v\in P_u(j)}|Sim(u,v)|}$

 

$P_u(j)$는 아이템($j$)에 대해 평점을 매긴 사용자($u$)의 이웃 집합이다. ${\hat{r}}_{uj}$은 사용자($u$)가 아이템($j$)에 대한 평점 예측값이다. $Sim(u,v)$은 사용자($u$)와 사용자($v$) 간의 유사도이다. 코사인, 피어슨, 유클리디안 등의 여러 유사도를 사용할 수 있지만 추천 시스템에서는 위에서도 언급했다시피 일반적으로 피어슨을 사용한다.