Non-invasive Self-attention for Side Information Fusion in SequentialRecommendation - 비침투적인 셀프 어텐션 추천시스템

추천시스템에서 side information<이하 SI>을 활용하는 것은 성능 향상에 의미있는 결과를 보여준다.

하지만 해당 정보를 Neural Net에 어떤 방식으로 입력하는지에 따라 성능이 다르다.

 

트랜스포머에 기반하여 SI를 임베딩 시키는 방법엔 기존 상품의 ID 값에 SI를 Summation하거나,

Concatenation하는 방법으로 입력해왔다.

 

해당 연구는 SI를 기존과 같은 방식으로 입력했을 때 모델의 추천 성능은 비슷하거나,

오히려 떨어지는 결과를 문제점으로 삼았다.

 

저자는 문제의 원인을 Invasive한 입력방식이라고 언급했고,

위 입력이 self-attention을 수행할 때 Query, Key, Value값에 일괄적으로 입력되어선 안된다고 주장한다.

 

때문에 SI를 새롭게 self-attention 계층에 입력하는 방식으로 

non-invasive한 embedding을 해결방법으로 내놓았다.

 

이들의 방법론을 두 줄 요약하면..

1.Query, Key에는 item ID와 SI를 혼합한 임베딩이 들어간다

2.Value에는 item ID가 그대로 들어간다

 

끝이다.

 

이 구조의 장점은 item ID를 고유하게 보존했다는 것이다. 

모든 것이 혼합되어 representation을 하게되면 item ID의 고유한 속성이 희석되기 때문이다.

정보가 희석되면 item ID는 자연스레 비가역적 상태로 빠지게 된다.

 

위 과정으로 Self-attention이 되는 과정을 간단하게 설명하면

1. SI가 혼합된 Query 벡터와 Key 벡터 간의 연관성을 Attention score로 뽑아낸다.

2. Value값인 item ID와 곱하여 Attention 벡터를 구한다.

 

 

저자는 BERT모델을 기준으로 Self-attention layer만 수정했기 때문에 다음과같이 아키텍처를 제시한다

간단하다. item ID라는 embedding vector의 일관성은 지키되,

매 레이어마다 각 ID에 태깅된 SI를 Query와 Key에 공급하기만 하면된다.

 

 

데이터셋은 Movielens, APP 데이터를 사용하였다.

invasive 방식은 baseline과 세 개의 데이터 셋에서 약소하게 증가 혹은 감소하였다.

반면 Non-invasive 방식은 전체적으로 증가한 모습을 보였으나 ML-1M에서 3%정도 증가폭을 보였으나,

ML-20M, APP 데이터셋에서는 0.3~0.5%정도로 그리 높은 증가폭을 보이진 않았다.

 

또한 혼합 방식에서도 의미있는 차이를 발견할 수 있는데,

Addition과 Concatenation 방식보다 Gating 방식에서 더 높은 성능을 볼 수 있다.

물론 데이터셋마다 알맞는 혼합방식이 있겠으나 의외로 Addition방식이 가장 좋지 않았다.

 

논문에서는 SI를 행동적 정보<구매, 평점>와, 아이템 정보<카테고리, 태그>로 구분하였다.

재미있는 Ablation Study를 보면 두 종류의 정보는 같이 쓰일 때 시너지가 난다고 한다.

둘 중 하나를 쓰면 오히려 basline보다 낮게 나왔다.

 

정리를 해보자.

부가 정보를 쓰는 것은 대체로 성능향상에 기여하지만 

어떻게 적용하느냐에 따라 달라진다.

이 논문은 Embedding과정에서 어떤 정보를 선별하는지에 대한 방법론을 제기했다.

ML-1M에서 가시적인 성능 향상이 있었으나,

다른 데이터셋에도 적용되는 방법론으로는 부족한 것 같다.

또한 부가정보의 질적 특성에 의해서도 성능이 좌우된다.

 

추후 연구에는 같은 결의 방법론을 쓰되,

부가정보를 더욱 잘 임베딩 할 수 있는 방법론을 쓰는 것이 좋아보인다.