基于深度强化学习的推荐算法的构建研究

摘要：在当前高度信息化的社会环境中，推荐系统是解决信息过载问题的关键工具，广泛应用于各类在线平台。然而，传统推荐算法（如协同过滤和基于内容的推荐） 在数据稀疏、冷启动和特征识别等方面存在局限性。文章基于传统推荐系统现状，探究深度强化学习在推荐系统中的应用，并提出一种基于深度强化学习的推荐算法。实验结果表明，该算法在准确率、召回率和mAP等指标上优于对照组，为推荐系统发展提供了新思路。

关键字：深度强化学习；推荐系统；关键技术；算法模型

中图分类号：TP311 文献标识码：A

文章编号：1009-3044（2025）09-0033-05 开放科学（资源服务） 标识码（OSID） ：

0 引言

在当今信息化与数字化深度融合的社会语境下，信息技术高速发展导致信息爆炸式增长，进而引发信息过载问题。为了有效应对这一挑战，推荐系统应运而生，并成为了解决信息过载问题的关键技术之一[1]，旨在通过分析用户行为和兴趣偏好，提供个性化内容推荐，提高信息获取效率和用户体验。

然而，随着应用场景的日益复杂和用户需求的不断升级，传统推荐系统下所应用的协同过滤或基于内容的推荐算法逐渐暴露出其在数据稀疏性处理、冷启动问题应对以及特征深度挖掘等方面的局限性，难以满足当前在线平台的应用需求[2]。

为了应对这些挑战，研究者们开始探索新的技术和方法以优化推荐系统的性能。其中，深度强化学习作为一种融合了深度神经网络和强化学习优势的新兴技术，以其强大的数据处理能力、自适应学习机制及在复杂决策任务中的卓越表现，为推荐系统的革新提供了新的思路。例如，Somaye Ahmadkhani[3]等人在研究中提出了一种基于深度强化学习（DRL） 框架的社交图像推荐系统，以改善传统静态推荐策略在实际应用中的不足。刘春霞[4]针对推荐系统中存在的多源信息融合问题，设计并实现了深度强化学习推荐模型，并在实验数据集上验证了该模型在推荐准确性和个性化程度上的有效性。综上，本文认为，深度强化学习在推荐系统中具有显著的可行性，有利于提升推荐系统的工作效率和性能。因此，本文将全面探究深度强化学习在推荐系统领域实用优势，并提出一套基于深度强化学习的推荐算法框架，以解决传统的推荐系统所面临的诸多不足，为推动推荐系统技术的持续进步作出贡献。

1 技术路线

1.1 推荐系统

推荐系统是一种基于大规模数据挖掘技术构建的智能化网络应用，它专注于对繁复多样的数据信息进行深度分析与精确筛选，从而打造一个极具个性化的信息环境。这一系统的核心效能不仅体现在对复杂数据信息的细致过滤与高效整合上，更在于它深入洞察并预测用户的个性化需求[5]。

如图1所示为标准化的推荐系统框架结构，主要包含输入功能模块、推荐方法模块和输出功能模块。推荐系统的框架运作机制是一个闭环的、持续迭代的过程。在这个流程中，推荐算法成了连接用户偏好与推荐内容的核心桥梁，也是整个推荐系统功能实现的关键所在。通过对推荐算法的设置、调用以及优化，推荐系统能够深化对用户需求的洞察能力，进而提供更加贴合用户期望的个性化推荐内容，从而提升用户体验和满意度。

1.2 深度学习

人工智能（Artificial Intelligence） 简称AI，作为现代计算机科学的一个分支，旨在探求人类智能的实质，并将其进行模拟、延伸和扩展，从而能够生产出一种以人类智能相似的方式做出诸如感知、认知、决策、执行等合理反应的机器。人工智能作为集理论、方法、技术、应用系统于一体的现代高新科技，所牵扯和涉及的学科和内容极其广泛，是一个非常庞大的范畴和研究体系，常见的分支包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理等等。

机器学习作为实现人工智能的一条基本路径，能够人为的应用大量数据和算法模型完成机器的训练，以致机器学会如何自行执行和处理问题。在机器学习领域内，深度学习作为一个全新的算法能够进一步改善和优化机器学习算法的执行流程，降低人为干预影响，缩短训练时间，扩展应用场景。

深度学习（Deep Learning，DL） 是机器学习的一个重要分支，其基础是多层结构的深度神经网络。其核心应用是通过对输入数据进行逐层特征提取和抽象，形成高阶特征表示，从而实现对复杂数据的有效建模和分类。

深度学习的本质是通过构建多个神经元，并将其排列分布为多层结构，形成一种神经网络。其中神经网络的结构可以分为输入层、隐藏层、输出层三部分，且隐藏层可以有多个叠加，以表达深度。如图2所示为单个神经元结构，图3为深度学习下的神经网络结构。

如图3所示，输入层负责接收外界输入数据信息，并将其转化为神经网络可以识别处理的信号。隐含层负责处理输入信息，是神经网络的核心部分，能够对输入的数据信息进行加工处理，完成特征提取和转换。隐含层可以有多个，根据问题的复杂性和神经网络的设计，层数和每层中的神经元数量可能有所不同。输出层将接收到的信号转化为问题结果进行输出，输出层的节点数与具体的问题类型相关。常见的代表性深度学习算法包括卷积神经网络（CNN） 、循环神经网络（RNN） 和深度信念网络（DBN） 等，这些算法在图像识别、语音识别、自然语言处理等领域取得了显著成果。

1.3 强化学习

相较于深度学习，强化学习侧重通过与环境的交互来学习最优行为策略。在强化学习中，智能体（agent） 会根据当前环境状态选择动作，并以此来调整其行为策略，实现最大化累积奖励目标，如图4所示为智能体与环境交互的过程示例。其中，智能体是学习的主体，环境是智能体交互的对象，状态描述了环境的当前情况，动作是智能体可以采取的行为，奖励是对智能体行为的反馈。代表性算法有Q学习、Sarsa 等，这些算法在游戏AI、机器人控制、自动驾驶等领域展现了强大的决策优化能力。

深度学习与强化学习在人工智能领域中各自具有独特的优势和特点，同时二者之间也存在着紧密的联系与显著的差异。而深度强化学习（Deep Reinforce⁃ment Learning，DRL） 是一种结合了深度学习和强化学习的新型技术，旨在使用深度神经网络来近似强化学习中的策略或价值函数，从而解决复杂的决策问题。深度强化学习通过智能体与环境之间的互动学习，实现无监督学习的目标，并可以在不同的任务和环境中实现多任务学习的目标[6]。如图5所示为深度强化学习的工作原理图，其内部包含有四个部分。其一，每当智能体与环境进行交互时，它会接收到高维的输入数据，这些数据包含了环境的当前状态信息。为了有效地处理这些数据，智能体利用深度学习技术来降低输入数据的维度，并自主学习数据的内在特征，从而构建出对环境状态的准确理解；其二，智能体会计算预期收益，并通过评估每个可能行为的价值函数来智能体在反映出采取特定行为后预期能够获得的累积奖励。其三，基于这些预期收益和当前的环境状态，智能体会根据现有的策略来映射出最合适的动作。一旦执行了这个动作，环境会对此做出反应，并呈现出新的可观测状态，智能体则根据这个新状态继续与环境进行交互。其四，不断重复以上三个步骤，智能体会根据每次交互的结果来更新其策略，直到最终找到能够最大化累积奖励的最优策略。

1.4 基于深度强化学习的推荐算法模型

针对传统的推荐系统下所面临的数据稀疏性、冷启动应对以及特征深度挖掘等问题，本研究将采用深度强化学习方法来进行弥补和优化，旨在为推荐系统领域带来全新的解决方案。如图6所示为基于深度强化学习的推荐算法模型框架，模型的核心构成包括环境、状态与智能体三大要素。环境作为智能体进行交互与学习的场所，其内部包含了用户与目标对象两大关键组成部分。用户，作为推荐系统的服务对象，其历史行为、偏好及当前需求等信息，构成了推荐算法的重要输入数据。而目标对象，即推荐系统希望推荐给用户的内容或商品，其特征信息同样对推荐算法具有至关重要的影响。智能体与环境之间的交互，即动作与回复，构成了推荐算法学习的基础框架。状态，作为智能体在环境中感知到的当前信息，它融合了用户特征与目标对象特征，为智能体提供了决策的重要依据。智能体根据当前状态，运用深度神经网络（DQN） 进行价值估计，从而选择出最优的动作，即推荐给用户的内容或商品。

此外，在智能体下的DQN算法能够接收当前状态（即用户特征和目标对象特征的组合） 作为输入，并输出每个可能动作的Q值（即执行该动作所能获得的期望回报） 。这些Q值反映了在给定状态下执行不同动作的优劣程度，从而帮助智能体选择最优动作。而经验池是一种用于存储智能体与环境交互历史经验的机制。在推荐系统中，每次智能体执行一个动作并观察到用户的反馈后，都会生成一个经验样本（包括当前状态、动作、奖励和下一状态） 。这些经验样本会被存储到经验池中，以便后续进行学习和优化。

在具体的模型设计过中，主要涉及回报函数与探索策略两个要素，两者共同决定了智能体的学习目标和行为方式。回报函数通常用于量化推荐策略的好坏，即评估智能体所做出的推荐是否满足用户的需求和期望[7]。一个合理的回报函数应该能够准确反映用户对推荐内容的满意度，也可以让智能体不断学习和优化其推荐策略，以最大化累积的回报值。在本研究中，因选择DQN作为智能体的主体算法，所以回报函数也将按照Bellman方程进行描述：

综上，通过设计的回报函数，基于深度强化学习的推荐算法模型可以利用有限的用户交互数据，学习并优化推荐策略。

2 实例测试

为了验证本文提出的基于深度强化学习的推荐算法模型的实际应用效果，我们将对某电商平台的用户历史行为数据进行分析预测，并通过设定相应的评估指标来全面地验证推荐模型的实效性，并据此进行必要的调整和优化。

2.1 数据集与预处理

本次测试所选数据集为某电商平台移动App下历史用户行为数据。数据集的时间跨度为3个月，内部分为用户属性组、用户行为组、商品种类组以及商品属性组四部分。如表1、表2所示为各用户属性组和商品属性组的主要字段信息。

在获取原始数据后，将进一步执行预处理操作，即对需要识别和处理数据中的缺失值、异常值和重复记录。对于缺失值，可以采用填充、插值或删除含有缺失值的记录等方法；对于异常值，则可能需要根据业务逻辑进行修正或剔除。经过预处理后，目前可用数据如表3所示。

2.2 模型训练与评估

根据上述基于深度强化学习的推荐算法模型的构建方案，DQN的深度学习能力使模型能从稀疏数据中挖掘潜在的用户偏好，有效缓解数据稀疏问题。对于冷启动问题，基于深度强化学习的推荐算法模型将采用积极的探索策略，在初期阶段尝试新的推荐组合，快速积累用户反馈，构建初始推荐模型，以确保在冷启动阶段也能提供合理的推荐[9]。此外，DQN的深度神经网络结构使模型能够自动学习用户和推荐内容的深层次特征，实现更精细化的用户画像和内容理解，突破了特征深度挖掘问题的限制，提升了推荐的准确性和个性化水平。

在推荐算法模型的训练过程中，为了确定DQN算法的最佳参数，我们将采用Grid Search 方法。Grid Search方法是一种通过穷举给定参数值组合来找到最优参数配置的方法。具体过程如下：首先，我们需要为模型中的每个参数确定一个合理的取值范围。这些参数包括隐藏层节点数、激活函数、学习率、折扣因子、回报函数中的奖励值、探索策略中的ε 值及其衰减率和最小值，以及模型更新时间等。然后，我们将这些参数的取值范围组合成一个参数网格，每个网格点代表一种参数配置。对于参数网格中的每个点，我们都将训练一个DQN模型，并使用某种性能指标（如准确率、召回率或F1分数等） 来评估其性能。最后，我们选择性能最佳的模型对应的参数配置作为最优参数，具体参数设置信息如表4所示[10]。

训练结果如表5 所示，并采用准确率、召回率、mAP等指标来评估推荐算法模型的整体性能。结果表明，该基于深度强化学习的推荐算法模型在准确率、召回率和mAP方面均表现出色，显示出较高的分类性能和目标检测能力。

2.3 对比分析

为了充分验证基于深度强化学习的推荐算法模型的实用性能，本研究还将构建一组对比实验，即采用测试集分别在决策树（DT） 、Wide & Deep、基于内容推荐算法、协同过滤推荐算法以及本文推荐算法模型下进行同步测试，并使用准确率、召回率、mAP值作为统一的评估指标。如表6所示为对照组算法详细说明，表7为对比试验结果。

结果表明：基于深度强化学习的推荐算法模型在准确率、召回率和平均精度均值这三个关键指标上都表现出了优异的性能。这表明该模型在训练过程中有效地学习了用户的偏好和行为模式，能够为用户提供更准确、更相关的推荐。

3 结束语

本文针对传统推荐系统存在的不足，提出了一种基于深度强化学习的推荐算法。实验结果表明，该算法在电商平台用户数据上的推荐任务中性能优异，显著优于传统算法。未来研究将进一步优化模型结构，提高计算效率，并探索更多应用场景。