性能超越最新序列推薦模型，華為諾亞方舟提出記憶增強的圖神經(jīng)網(wǎng)絡(luò )

用戶(hù)-商品交互的時(shí)間順序可以揭示出推薦系統中用戶(hù)行為隨時(shí)間演進(jìn)的序列性特征。用戶(hù)與之交互的商品可能受到用戶(hù)曾經(jīng)接觸的商品的影響。但是，用戶(hù)和商品數量的大量增加，使得序列推薦系統仍然面臨很多重要問(wèn)題：（1）對短時(shí)用戶(hù)興趣建模的困難；（2）捕捉用戶(hù)長(cháng)期興趣的困難；（3）對商品共現模式的建模效率較低。為了應對這些挑戰，本文提出了一個(gè)記憶增強的圖神經(jīng)網(wǎng)絡(luò )（memory augmented graph neural network, MA-GNN），以捕捉用戶(hù)的長(cháng)期和短期興趣。

特別地，本文使用圖神經(jīng)網(wǎng)絡(luò )對短期的商品語(yǔ)境信息建模，并使用共享的記憶網(wǎng)絡(luò )來(lái)捕捉商品之間的長(cháng)期依賴(lài)。另外，本文使用雙線(xiàn)性函數以捕捉相關(guān)商品的共現模式。在模型評估上，本文在五個(gè)真實(shí)場(chǎng)景的數據集上進(jìn)行了評測，并使用一系列評估指標和多個(gè)當前效果最優(yōu)的模型進(jìn)行了對比。試驗結果顯示，本文模型在Top-K序列推薦中效果極佳。

介紹

隨著(zhù)網(wǎng)絡(luò )服務(wù)和移動(dòng)設備的快速增加，個(gè)性化推薦系統在現代社會(huì )中正扮演著(zhù)越來(lái)越重要的角色。個(gè)性化推薦系統能夠降低信息負載、滿(mǎn)足多種服務(wù)需求，并至少在以下兩方面起到極大助力：（i）幫助用戶(hù)發(fā)現上百萬(wàn)候選產(chǎn)品中的合適商品；（ii）為產(chǎn)品提供商創(chuàng )造增長(cháng)營(yíng)業(yè)額的機會(huì )。

在網(wǎng)絡(luò )中，用戶(hù)以線(xiàn)性順序訪(fǎng)問(wèn)商品。用戶(hù)在未來(lái)查看的商品可能收到歷史瀏覽記錄的影響，這創(chuàng )造了一個(gè)具有操作性的應用場(chǎng)景——序列推薦。在序列推薦任務(wù)中，除了和通用推薦系統一樣需要捕捉用戶(hù)的整體興趣之外，我們認為還有另外三個(gè)重要因素需要考慮：用戶(hù)短期興趣，用戶(hù)長(cháng)期興趣，商品共現模式。用戶(hù)短期興趣描述了用戶(hù)在短期內訪(fǎng)問(wèn)商品的偏好。用戶(hù)長(cháng)期興趣捕捉用戶(hù)之前訪(fǎng)問(wèn)的和未來(lái)將訪(fǎng)問(wèn)的商品之間的長(cháng)期以來(lái)。商品共現模式則對相關(guān)商品的共現規律進(jìn)行闡釋。

盡管目前已有很多序列推薦模型，但我們認為已有模型尚不能完整捕捉前文提到的三個(gè)因素。首先，Caser, MARank, Fossil等人僅對用戶(hù)短期興趣進(jìn)行了建模，忽略了商品的長(cháng)期依賴(lài)關(guān)系。第二， SARSRec等類(lèi)似模型沒(méi)有對用戶(hù)短期興趣進(jìn)行有效的建模，使得模型難以理解用戶(hù)在短期內的興趣變化。第三，GC-SAN，GRU4Rec++等類(lèi)似模型未能明確捕捉商品序列中的商品共現規律。由于相關(guān)商品經(jīng)常共同出現，推薦模型應當對此因素加以考量。

為將上述三個(gè)因素加入序列推薦模型，本文提出了一個(gè)記憶增強的圖神經(jīng)網(wǎng)絡(luò )（MA-GNN）。該模型包括一個(gè)整體興趣模塊，一個(gè)短期興趣模塊，一個(gè)長(cháng)期興趣模塊，以及一個(gè)商品共現模塊。在整體興趣模塊中，我們使用矩陣分解對用戶(hù)整體興趣建模，該模塊不包含商品對序列變化信息。在短時(shí)興趣模塊中，我們使用一個(gè)GNN結構加入商品的鄰接關(guān)系信息，以構成用戶(hù)的短期興趣。

這一結構能夠捕捉較短時(shí)期的情境信息和結構。為了對用戶(hù)的長(cháng)期興趣建模，我用使用一個(gè)鍵值記憶網(wǎng)絡(luò )（key-value memory network）以基于用戶(hù)的長(cháng)期商品序列形成對用戶(hù)興趣的表征。通過(guò)該方法，在推薦一個(gè)商品時(shí)，其他具有相似偏好的用戶(hù)也會(huì )成為影響因素。為了綜合用戶(hù)的長(cháng)期和短期興趣，我們在GNN框架中引入了門(mén)機制，和LSTM網(wǎng)絡(luò )中的門(mén)機制類(lèi)似。這一機制對長(cháng)時(shí)和短時(shí)興趣在模型中的貢獻度進(jìn)行控制。在商品共現模塊中，我們使用了一個(gè)雙線(xiàn)性函數以捕捉商品序列中高度相關(guān)的商品。我們在五個(gè)真實(shí)世界的數據集上對模型進(jìn)行了評估，并使用一系列評估指標，和多個(gè)當前最先進(jìn)的模型進(jìn)行了對比。試驗結果顯示了本文模型相較于其他模型在推薦效果上的提升，并展示了上述模塊的有效性。

總體而言，本文的主要共現為：

為了對用戶(hù)短期和長(cháng)期興趣建模，提出一個(gè)記憶增強的圖神經(jīng)網(wǎng)絡(luò )，以捕捉短期情境信息和長(cháng)期依賴(lài)；

為了高校融合短期和長(cháng)期興趣信息，提出了GNN框架中的門(mén)機制；

為對商品共現模式進(jìn)行建模，使用雙線(xiàn)性函數來(lái)捕捉商品之間的特征關(guān)聯(lián)；

在五個(gè)真實(shí)世界數據集上進(jìn)行評估試驗，結果顯示MA-GNN的效果顯著(zhù)由于已有的序列推薦模型。

相關(guān)工作

整體推薦

早期的推薦模型主要研究顯性反饋，近期研究則逐漸轉向隱性數據。使用隱性反饋的協(xié)同過(guò)濾（collaborative filtering, CF）往往被認為是一個(gè)Top-K推薦認為，該任務(wù)的目標即為用戶(hù)推薦一個(gè)可能感興趣的商品列表。這一任務(wù)更具有實(shí)際性和挑戰性，且更適合真實(shí)世界的推薦場(chǎng)景。早期的相關(guān)工作主要使用矩陣分解技術(shù)學(xué)習用戶(hù)和商品的隱性特征，基于神經(jīng)網(wǎng)絡(luò )的方法也經(jīng)常被采用。

序列推薦

序列推薦模型將商品序列作為輸入信息。一個(gè)經(jīng)典方法是使用馬爾可夫鏈對數據建模。FPMC, TransREC都屬于此類(lèi)方法。近期，受自然語(yǔ)言處理中序列學(xué)習的啟發(fā)，學(xué)者們提出了基于（深度）神經(jīng)網(wǎng)絡(luò )的方法，包括基于卷積神經(jīng)網(wǎng)絡(luò )（CNN）、基于循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN）等。注意力機制、記憶網(wǎng)絡(luò )也在序列推薦模型中得到應用。

本文和已有模型的不同之處在于，模型使用記憶增強的圖神經(jīng)網(wǎng)絡(luò )以捕捉長(cháng)期和短期興趣。另外，本文加入了一個(gè)商品共現模塊，以對高度相關(guān)的商品建模。

問(wèn)題定義

本文考量的推薦任務(wù)將序列的隱性反饋作為訓練數據。用戶(hù)興趣通過(guò)一個(gè)用戶(hù)-商品的線(xiàn)性序列進(jìn)行表征，公式如下：