基于艾宾浩斯遗忘曲线和注意力机制的推荐算法

金楠，王瑞琴,2，陆悦聪

研究与开发

基于艾宾浩斯遗忘曲线和注意力机制的推荐算法

金楠1，王瑞琴1,2，陆悦聪1

（1. 湖州师范学院信息工程学院，浙江 湖州 313000；
2. 浙江省现代农业资源智慧管理与应用研究重点实验室，浙江 湖州 313000）

传统基于注意力机制的推荐算法只利用位置嵌入对用户行为序列进行建模，忽略了具体的时间戳信息，导致推荐性能不佳和模型训练过拟合等问题。提出基于时间注意力的多任务矩阵分解推荐模型，利用注意力机制提取邻域信息对用户和物品进行嵌入编码，借助艾宾浩斯遗忘曲线描述用户兴趣随时间的变化特性，在模型训练过程中引入经验回放的强化学习策略模拟人类的记忆复习过程。真实数据集上的实验结果表明，该模型比现有推荐模型具有更好的推荐性能。

艾宾浩斯遗忘曲线；
注意力机制；
强化学习；
经验回放

大数据时代，在产生海量数据的同时也带来了信息过载的问题。个性化推荐系统将用户从海量的数据选择中解放出来，通过推荐算法挖掘用户的潜在需求，为用户提供个性化的推荐服务[1]。在这个信息爆炸和以人为本的时代，个性化推荐势在必行。现有推荐算法可分为传统推荐算法和基于深度学习的推荐算法两大类，传统推荐算法存在数据稀疏、对用户和物品的信息处理过于简单、无法捕获非线性特征交互等缺点，预测准确性不高。基于深度学习的推荐算法可以自动学习特征间的高阶非线性交互，从而提高推荐的准确性。

协同过滤（collaborative filtering，CF）算法[2]是经典的推荐算法之一，其中以基于矩阵分解（matrix factorization，MF）的CF算法应用最为广泛。该算法将由用户和项目组成的交互矩阵进行低维矩阵分解，将用户和项目映射到共享的潜在特征空间，利用用户和项目潜在向量的内积进行评分预测[3]。基于MF的CF算法原理简单且推荐速率高，但无法利用用户和项目的邻域信息以及交互时间戳等信息，推荐精度不高。随着神经网络技术的发展，神经网络被证明可以拟合任何函数，实现对交互行为的非线性建模[4]。神经矩阵分解（neural matrix factorization，NeuMF）和深度协同过滤（deep collaborative filtering，DeepCF）[5]是两种典型的神经网络算法，分别采用不同的融合策略将CF算法和神经网络算法进行集成，取得了良好的推荐性能，但不足之处在于推荐结果缺乏可解释性。

近年来，注意力机制被广泛应用于推荐任务以自适应地提取邻域信息对目标建模，建模过程中不同的注意力权重使得模型具有很好的可解释性[6-7]。Wang等[8]提出基于神经图的协同推荐（neural graph collaborative filtering，NGCF）模型，将来自不同邻居的信息组合起来学习用户和物品向量。Wu等[9]提出基于图神经网络的序列推荐（session-based recommendation with graph neural network，SR-GNN）模型，在会话图上运用图神经网络来捕获项目之间的复杂转换，利用注意力机制将当前会话表示为全局偏好和当前兴趣的组合。Lu等[10]提出社交影响注意力神经网络（social influence attentive neural network，SIAN）模型，利用注意力机制捕捉朋友推荐的影响力。Wang等[11]提出协同知识感知的注意力网络（collaborative knowledge-aware attentive network，CKAN）模型，使用知识感知的注意力机制区分不同知识邻居的贡献。Wang等[12]提出全局上下文增强的序列推荐模型GCE-GNN（global context enhanced graph neural network），对所有会话中的项目转换进行建模来学习全局项目嵌入，对当前会话进行建模来学习会话级项目嵌入，采用注意力机制汇总两个级别的嵌入表示。Xia等[13]将会话序列表示为超图来捕捉项目间的高阶信息，通过双通道超图卷积网络来学习会话表示。然而，已有注意力方法通常利用位置嵌入对用户行为序列进行建模，忽略了具体的时间戳信息，导致推荐性能不佳和模型训练过拟合等问题。

近年来，多任务学习成功应用于机器学习的很多邻域[14-15]。在推荐系统中，通过参数共享的方式同时学习多个相关的任务，不同任务之间相互促进，如此可以进一步提高推荐的性能。Xiao等[16]提出基于深度神经网络的多任务推荐（deep factorization machine-graph convolutional network，DFM-GCN）模型，它利用深度矩阵分解模型捕捉用户与物品之间的交互信息，利用图卷积网络（graph convolutional network，GCN）获得更好的项目表示向量。Wang等[17]提出知识图谱增强的多任务特征学习推荐模型，它是一个深度端到端的框架，将知识图谱的联合学习和交替学习与推荐系统结合，利用知识图嵌入任务来辅助推荐任务。Liu等[18]提出项目关系图神经网络（item relationship graph neural network，IRGNN）模型，采用多任务架构发现项目间的多个复杂关系，利用识别的项目关系生成更好的推荐结果，提高推荐的可解释性。

综上，注意力机制和多任务学习在推荐系统中已经发挥出积极的作用。目前利用融合注意力机制与多任务学习以提高推荐性能的方法非常少见，然而这一方向具有巨大潜力，值得探索。为此，本文提出一种基于时间注意力的多任务矩阵分解推荐（time attention-based multi-task matrix factorization，TAMMF）模型，以基于时间感知注意力机制的推荐为主任务，以基于矩阵分解的推荐为相关任务，利用GCN捕捉用户和物品的邻域信息，借助艾宾浩斯遗忘曲线对邻域作用进行衰减，训练过程中引入基于经验回放的强化学习策略。在真实数据集上的大量实验结果表明，本文算法明显优于现有推荐算法。本文的主要贡献主要体现在以下几个方面。

●在矩阵分解模型的基础上，结合艾宾浩斯遗忘曲线和注意力机制提取邻域信息，对用户和项目进行建模。

●模拟人类记忆不断复习的过程，训练过程采用强化学习中经验回放的学习方法，提升了模型的鲁棒性。

●在4个不同规模的真实数据集上进行实验验证，结果表明本文模型的推荐精度和推荐速度均优于已有推荐模型。

TAMMF模型的基本框架如图1所示，主要包括矩阵分解模型和时间注意力网络两个部件，二者共享用户向量和物品向量，形成并行的多任务结构，以不同的学习方式各自进行评分预测，最后将得到的预测评分值进行合并。

图1 TAMMF模型的基本框架

矩阵分解进行评分预测时存在预测准确性低、可解释性差等问题。时间注意力网络通过对用户和物品向量进行时间衰减，学习用户和物品的邻近关系，增强了模型的可解释性，提升了评分预测的准确性，但容易陷入局部最优。多任务模型通过多个相关任务的共同学习和互相促进，提高了模型的泛化能力。本文模型将均方根误差（root mean square error，RMSE）作为两个任务的损失函数，最后取均值作为总损失函数。

其中，1和2分别表示矩阵分解模型和时间注意力网络的预测评分，为实际评分，为测试样本的个数。

1.1 矩阵分解模型

矩阵分解是目前推荐系统中非常流行的一种算法，它通过对用户−项目交互矩阵进行低维矩阵分解，将用户和项目映射到共同的潜在向量空间中，对用户和项目的潜在特征向量的内积进行评分预测，如式（4）所示。

基于矩阵分解的评分预测与协同推荐算法原理简单、推荐速度快，但其计算过程没有考虑交互时间信息以及用户和物品的邻近信息，推荐结果准确率较低。

1.2 时间注意力网络

（1）艾宾浩斯遗忘曲线

艾宾浩斯遗忘曲线为德国著名心理学家艾宾浩斯研究所得，遵循“先快后慢”原则，在记忆初期遗忘速度很快，随时间推移遗忘速度逐渐减缓，最终趋于平稳。此外，合理的重复记忆可以有效降低记忆的遗忘速度，提高记忆的牢固度。艾宾浩斯遗忘曲线如图2所示。

图2 艾宾浩斯遗忘曲线

将艾宾浩斯遗忘曲线应用于推荐系统，需要根据具体的推荐数据集，将其量化为相应的数学表达式，如式（5）所示。

其中，()是以为变量的遗忘函数，表示时间间隔，和是两个控制变量。实验证明，当设置=1.25、=1.84时，该函数与遗忘曲线的拟合度最高。

为用户提供个性化推荐时，时间间隔越小的历史行为往往具有越高的参考意义，可以更有效地体现用户的短期兴趣。时间间隔大的历史行为对用户短期兴趣建模的参考意义较小，但其数据量丰富，能够体现用户的长期兴趣。在推荐系统中，历史行为数据的时间间隔短至几秒，长达几天，甚至几个月，数据差异较大，这里用式（6）进行转换。

（2）时间注意力网络设计

时间注意力网络主要由时间衰减函数和图卷积神经网络两部分构成，时间注意力网络示意图如图3所示。

图3 时间注意力网络示意图

其中，i为矩阵分解的物品向量，i()为衰减后的物品向量，为可调节参数。

其中，()表示用户u在图中的邻居集；
表示可训练的参数；
uj表示邻居项目I对用户建模的贡献权重，通过注意力网络和Softmax激活函数计算得到，如式（9）及式（10）所示。

其中，1、21和2表示可训练的参数。

1.3 基于经验回放的模型训练

人类记忆过程中通过适当复习，能够将获得的短时记忆转化成长时记忆，永久地留存在脑海里，有效提升记忆效果。TAMMF模型借鉴强化学习中的经验回放方法来模拟人类记忆过程中的复习过程，经验回放示意图如图4所示。不断地将训练过程中得到的用户和物品向量保存在记忆池中，作为历史经验，继续训练时会触发经验回放条件，该条件可以是迭代一定次数，也可以是随机触发，此时会从记忆池中获取历史经验数据，并将其加入新的训练过程中。

图4 经验回放示意图

在训练过程中采用经验回放具有以下优势：一是每一步对权值的更新都会对模型起作用，提高了数据的利用率；
二是打破了样本之间的相关性，减小每次训练更新的方差；
三是通过加入历史经验，防止参数学习陷入局部最优。

1.4 复杂度分析

2.1 数据集

为了评估TAMMF模型的有效性，在FilmTrust、MovieLens 100K（ML-100K）、MovieLens 1M（ML- 1M）和MoiveLens Last（ML-Last）4个公开数据集上进行实验。数据集详情见表1，其中FilmTrust包含1 508位用户对2 071部电影的35 497个显式评分，评分范围为[0.5,4]；
MovieLens 100K包含943位用户对1 682部电影的100 000个显式评分；
MovieLens 1M包含6 040位用户对3 706部电影的1 000 209个显式评分；
MovieLens Last包含610位用户对9 742部电影的100 836个显式评分，后3个数据集的评分取值范围均为[1,5]。对于每个数据集，将其中80%的评分数据作为训练数据，其余作为测试数据。

表1 数据集详情

2.2 对比方法

本文与如下方法进行对比。

●基于物品的协同过滤推荐算法ItemCF（item-to-item collaborative filtering）[19]：通过计算物品之间的相似度，根据用户喜欢的物品向用户推荐相似的物品。

●概率矩阵分解（probabilistic matrix factorization，PMF）方法[20]：是推荐系统的基础算法之一。PMF方法在大型、稀疏且不平衡的数据集上有很好的表现。

●MLP（multilayer perceptron）：深度神经网络基本方法，将用户ID、项目ID的One-hot编码进行拼接并作为输入向量，使用深度神经网络进行交互建模和评分预测。

●奇异值分解（singular value decomposition，SVD）法[21]：对评分矩阵进行分解后采用点积方法计算预测评分。该方法在预测准确性、稳定性上具有明显的优势。

●GCN[22]：采用图卷积方法融合邻域信息进行目标建模，等同于本文模型中的注意力部分。

●NeuMF[3]：结合了传统的矩阵分解算法和多层感知机，可以同时抽取低维和高维特征，具有良好的推荐效果。

●DeepCF[5]：结合表示学习和匹配学习方法的优点，通过搭建深度学习网络进行交互建模与评分预测。

为了得到对比算法的最优结果，所有算法均参照原文献设置最优参数。为了防止过拟合，NeuMF和DeepCF采用L2正则化，MLP和GCN采用Dropout，保留概率为0.8。

2.3 评价指标

平均绝对误差（mean absolute error，MAE）和均方根误差是衡量变量精度的两个最常用的指标。MAE表示绝对误差的平均值，反映预测值与真实值之间的偏差程度，偏差越小，精度越高。

RMSE表示预测值和真实值之间差异的平方均值，用来衡量预测的准确程度，偏差越小，精度越高。该指标对个别大的偏差非常敏感。

2.4 参数设置

模型训练过程采用Adam优化器，学习率为0.000 5；
采用批量训练的方法，每批128个数据，迭代次数为200；
用户和物品向量采用期望为0、方差为0.01的随机分布进行初始化，向量维度为128；
采用Dropout方法，防止模型训练过拟合。

2.5 实验结果分析

（1）对比实验

不同模型在4个数据集上的性能表现见表2，推荐系统的经典算法ItemCF在所有方法中表现最差，相比ItemCF算法，PMF和SVD性能有所提升，但是由于上述方法没有考虑邻域信息，且只进行线性交互建模，推荐效果都不是很理想。MLP通过学习高阶特征交互，推荐性能具有明显提升。基于深度学习的模型NeuMF在MLP的基础上结合矩阵分解算法捕捉低阶关系，推荐性能得到进一步提升。另一个基于深度学习的模型DeepCF结合了表示学习和特征交互学习的优势，在所有数据集上都具有优异的性能表现。GCN模型在用户和项目建模过程中考虑了邻域信息，推荐性能较同类方法具有一定优势。本文模型在所有数据集上都具有最佳的性能表现，其原因在于：借助注意力机制捕捉用户和物品邻近信息，增强了建模准确性；
使用多任务的方式进行参数学习，有效防止模型训练过拟合。TAMMF+在TAMMF的基础上使用经验回放的方式进行训练，推荐性能得到了进一步提升，由此可见，将人类记忆过程中的复习方法应用于深度学习模型训练是有效的。

表2 不同模型在4个数据集上的性能表现

（2）参数敏感性实现

为了防止模型训练过拟合，提高模型的鲁棒性，引入Dropout方法。Dropout方法在深度学习模型的每个隐藏层中都保留了神经元比率。不同保留概率下的MAE和RMSE分别如图5和图6所示，展示了采用不同的保留概率时模型的推荐性能。当保留全部神经元（Dropout=1）时，模型出现严重的过拟合现象，采用Dropout方法可以有效解决过拟合问题，在保留概率为0.8或0.9时，推荐效果性能最佳。

图5 不同保留概率下的MAE

图6 不同保留概率下的RMSE

为了防止参数学习陷入局部最优，增强模型的鲁棒性，本文模型采用了强化学习中经验回放的训练方法，用于消除样本之间的相关性，重复利用过去的经验。不同回放间隔下ML-Last数据集上的MAE和RMSE分别如图7和图8所示，展示了不同回放间隔对模型性能的影响，可以看出，使用经验回放的方法能够明显提升预测准确率，当回放间隔为5次时，效果最佳。

图7 不同回放间隔下ML-Last数据集上的MAE

图8 不同回放间隔下ML-Last数据集上的RMSE

表3 不同向量维度下的性能表现

通常情况下，用户和项目向量的维度（size）对评分预测具有一定影响，不同向量维度下的性能表现见表3。从表3可以看出，开始时随着向量维度的增加，预测性能不断提升，这是因为采用更多的维度可以考虑更多的预测因素。当向量维度为128时模型性能最佳，此时进一步增加向量维度，预测性能反而有所下降，这说明过多的向量维度引入了噪声，会产生过拟合现象。因此，本文选取128作为用户和项目向量的维度。

本文基于艾宾浩斯遗忘曲线和注意力机制对现有推荐模型进行改进，提出一种基于时间注意力的多任务矩阵分解推荐模型TAMMF，融合矩阵分解算法和时间注意力网络，形成多任务学习模型，并使用经验回放方法进行模型训练，有效防止了模型训练过拟合，提升了评分预测和推荐准确性。本文模型采用矩阵分解方法进行评分预测，推荐效率高。

本文模型利用艾宾浩斯遗忘曲线对不同时间间隔的领域信息的作用进行衰减，采用数学建模和参数调节方法。在未来的工作中，将借鉴多学科领域知识，尝试不同的时间衰减方式，进一步提升模型的推荐性能。

[1] 黄立威, 江碧涛, 吕守业, 等. 基于深度学习的推荐系统研究综述[J]. 计算机学报, 2018, 41(7): 1619-1647.

HUANG L W, JIANG B T, LYU S Y, et al. Survey on deep learning based recommender systems[J]. Chinese Journal of Computers, 2018, 41(7): 1619-1647.

[2] 纪佳琪, 姜学东. 深度协同过滤推荐模型研究[J]. 计算机应用与软件, 2020, 37(7): 240-245.

JI J Q, JIANG X D. Deep collaborative filtering recommender model[J]. Computer Applications and Software, 2020, 37(7): 240-245.

[3] HE X N, LIAO L Z, ZHANG H W, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. [S.l.:s.n.], 2017: 173-182.

[4] VEIT A, WILBER M J, BELONGIE S. Residual networks behave like ensembles of relatively shallow networks[J]. Advances in Neural Information Processing Systems, 2016, 29: 550-558.

[5] DENG Z H, HUANG L, WANG C D, et al. DeepCF: a unified framework of representation learning and matching function learning in recommender system[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 61-68.

[6] SHEN T, ZHOU T Y, LONG G D, et al. DiSAN: directional self-attention network for RNN/CNN-free language understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2018, 32(1).

[7] ZHANG W F, YU J, HU H, et al. Multimodal feature fusion by relational reasoning and attention for visual question answering[J]. Information Fusion, 2020, 55: 116-126.

[8] WANG X, HE X N, WANG M, et al. Neural graph collaborative filtering[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. [S.l.:s.n], 2019: 165-174.

[9] WU S, TANG Y Y, ZHU Y Q, et al. Session-based recommendation with graph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 346-353.

[10] LU Y F, XIE R B, SHI C, et al. Social influence attentive neural network for friend-enhanced recommendation[C]//Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases. [S.l.:s.n.], 2020: 3-18.

[11] WANG Z, LIN G Y, TAN H B, et al. CKAN: collaborative knowledge-aware attentive network for recommender systems[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 219-228.

[12] WANG Z Y, WEI W, CONG G, et al. Global context enhanced graph neural networks for session-based recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 169-178.

[13] XIA X, YIN H Z, YU J L, et al. Self-supervised hypergraph convolutional networks for session-based recommendation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(5): 4503-4511.

[14] ZHANG Y, YANG Q. An overview of multi-task learning[J]. National Science Review, 2017, 5(1): 30-43.

[15] LU Y C, DONG R H, SMYTH B. Why I like it: multi-task learning for recommendation and explanation[C]//Proceedings of the 12th ACM Conference on Recommender Systems. New York: ACM Press, 2018: 4-12.

[16] XIAO Y, LI C D, LIU V. DFM-GCN: a multi-task learning recommendation based on a deep graph neural network[J]. Mathematics, 2022, 10(5): 721.

[17] WANG Y Q, DONG L Y, LI Y L, et al. Multitask feature learning approach for knowledge graph enhanced recommendations with RippleNet[J]. PLoS One, 2021, 16(5): e0251162.

[18] LIU W W, ZHANG Y, WANG J L, et al. Item relationship graph neural networks for E-commerce[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(9): 4785-4799.

[19] LINDEN G, SMITH B, YORK J. Amazon.com recommendations: item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.

[20] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer, 2009, 42(8): 30-37.

[21] ZHENG S, DING C, NIE F P. Regularized singular value decomposition and application to recommender system[J]. arXiv preprint, 2018, arXiv: 1804.05090.

[22] MOLCHANOV P, TYREE S, KARRAS T, et al. Pruning convolutional neural networks for resource efficient inference[J]. arXiv preprint, 2016, arXiv: 1611.06440.

Ebbinghaus forgetting curve and attention mechanism based recommendation algorithm

JIN Nan1, WANG Ruiqin1, 2, LU Yuecong1

1. School of Information Engineering, Huzhou University, Huzhou 313000, China 2. Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou 313000, China

Traditional attention-based recommendation algorithms only use position embeddings to model user behavior sequences, however, ignore specific timestamp information, resulting in poor recommendation performance and overfitting of model training. The multi-task matrix factorization recommendation model based on time attention was proposed, which used the attention mechanism to extract the neighborhood information for the user and item embedding, and used the Ebbinghaus forgetting curve to describe the changing characteristics of user interests over time. The model training process introduced a reinforcement learning strategy of experience replay to simulate the human memory review process. Experimental results on real datasets show that the proposed model has better recommendation performance than existing recommendation models.

Ebbinghaus forgetting curve, attention mechanism, reinforcement learning, experience replay

TP391

A

10.11959/j.issn.1000–0801.2022266

2022–02–25；

2022–09–28

王瑞琴，angelwrq@163.com

浙江省自然科学基金资助项目（No.LY20F020006）

The Natural Science Foundation of Zhejiang Province (No.LY20F020006)

金楠（1996– ），男，湖州师范学院信息工程学院硕士生，主要研究方向为深度学习、个性化推荐。

王瑞琴（1979– ），女，湖州师范学院信息工程学院教授、硕士生导师，主要研究方向为自然语言理解、数据挖掘、个性化推荐。

陆悦聪（1996– ），男，湖州师范学院信息工程学院硕士生，主要研究方向为机器学习与数据挖掘。

猜你喜欢 向量注意力建模 向量的分解新高考·高一数学(2022年3期)2022-04-28让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09基于FLUENT的下击暴流三维风场建模成都信息工程大学学报(2021年5期)2021-12-30聚焦“向量与三角”创新题中学生数理化(高中版.高考数学)(2021年1期)2021-03-19联想等效，拓展建模——以“带电小球在等效场中做圆周运动”为例中学生数理化(高中版.高考理化)(2020年11期)2020-12-14如何培养一年级学生的注意力甘肃教育(2020年22期)2020-04-13求距求值方程建模初中生世界·九年级(2020年2期)2020-04-10基于PSS/E的风电场建模与动态分析电子制作(2018年17期)2018-09-28A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21向量垂直在解析几何中的应用高中生学习·高三版(2016年9期)2016-05-14 相关热词搜索：算法，注意力，曲线，