对话文本情绪分析及其在客户服务满意度预测中的应用

摘要：文章提出了一种基于对话长文本的情绪预测模型，用于预测通信运营商客户的服务满意度。该模型结合了PEGASUS文本摘要和BERT情绪识别算法，将用户满意度分为满意、平静和不满意三个等级，为运营商主动修复客户满意度提供数据支撑。实验证明，该模型能够有效预测用户满意度，推动运营商服务模式从被动解决投诉问题向主动修复满意度转型。

关键词：人工智能；电信运营商；客户服务数字化转型；中国联通

中图分类号：TP399 文献标识码：A

文章编号：1009-3044（2025）09-0029-04 开放科学（资源服务） 标识码（OSID） ：

0 引言

随着通信行业竞争加剧，服务品质成为运营商的关键竞争力。传统的被动式投诉处理模式已无法满足用户需求，如何主动提升服务品质和用户满意度成为亟待解决的问题。

1 研究背景

随着通信市场的开放和竞争加剧，电信服务的产品同质化使得服务质量成为运营商差异化竞争的核心。研究表明，消费者在选择服务商时更重视价格和服务体验而非产品独特性[1-2]。因此，提高服务质量以增强用户满意度和忠诚度变得至关重要。本文旨在利用自然语言处理技术[3]，通过分析客服对话文本中的用户情绪，预测用户满意度，并为主动提升服务质量提供支持。

2 模型设计

2.1 整体设计

传统上，满意度预测依赖于问卷调查和统计分析方法，如多元回归分析[4-6]。随着人工智能技术的发展，特别是机器学习和神经网络的应用，该领域正经历智能化和数据驱动的转型，显著提升了预测的准确性和实用性。例如，Bekiros 和 Wu 分别利用神经网络在航运业和搜索领域分析用户评价[7-8]。电信行业同样受益于此趋势，苟磊通过XGBoost和LSTM等算法处理时间序列数据，以预测用户满意度[9]。许鹏翔则基于宽带感知数据集，使用神经网络建模分析用户情绪[10]。

本研究实验的整体设计是一个多阶段的过程。首先，我们从电信运营商客服部收集大量用户与客服人员的对话长文本，这些数据覆盖了不同的服务场景和用户群体。在数据预处理阶段，我们对这些文本数据进行清洗和脱敏处理，然后使用PEGASUS模型来缩短对话文本并提取关键信息，为后续的情绪识别打下基础。在情绪识别的关键步骤中，本研究尝试了BERT自然语言处理模型。实验表明，BERT模型在情绪分类上展现出很好的性能，能够准确地识别用户在与客服沟通时的情绪状态。本研究将用户分为不同的情绪类别，并针对这些类别制定了精准化的运营策略和满意度修复动作。

2.2 实验数据

本研究基于PEGASUS和BERT模型构建用户情绪识别系统，使用了2万条电信运营商客服对话文本。数据预处理包括脱敏个人信息、去除无关符号等，清洗后的文本平均长度为619个token，其中68%超过500个token，最长达到1 129个token。由于BERT模型的输入限制，对超过长度限制的文本，首先使用PEGASUS模型进行摘要，再用BERT模型对摘要进行情绪分类。这种方法有效解决了长文本处理问题，确保了情绪分析的准确性。

2.3 基于PEGASUS构建摘要模型

PEGASUS模型[11]是Google开发的一种基于Trans⁃former[12]的自然语言处理模型，专用于抽象性文本摘要生成。其核心思想是通过对原始文本中某些句子的选取及遮挡，模拟摘要生成的过程进行预训练。PEGASUS模型融合了自回归与自编码的特性，它并非随机地对单词进行遮挡，而是采用非均匀抽样的方法挑选出关键的句子进行遮盖，并进行预测。这种策略增强了模型在理解、提炼文本核心内容和生成流畅摘要方面的能力。在生成摘要的过程中，模型会根据上下文来预测被遮盖的句子，并考虑到句子的语义角色，从而提高了语义理解与文本生成的能力。结构如图1所示。

本研究采用Randeng-Pegasus-238M-Summary-Chinese预训练模型，在对话文本数据集上进行训练。在实验中，需要多次迭代来调整超参数[13]，最终的参数设置如表1所示。

2.4 基于BERT 构建情绪分类模型

BERT[14]基于Transformer编码器，利用自注意力机制理解文本，并同时考虑前后上下文信息，从而准确捕捉语义关系。其预训练通过Masked LanguageModel 和Next Sentence Prediction 任务学习词的内部表示和句子间的关系。这种能力使BERT在情绪分类上表现出色，能够精准识别和理解文本中的情感内容和上下文线索。结构如图2所示。

本实验使用PEGASUS模型预测的摘要语料作为训练数据，将用户的情绪划分为不满意、中立和满意三个级别。为了对比实验效果，提升实验精度，加载bert-base-chinese预训练模型作为基础模型。为不破坏预训练模型的权重，冻结BERT模型底部1～6层的参数。同时，作为对比，实验也尝试了不冻结模型底部1-6层的参数。实验参数如表2所示。

3 实验结果分析

3.1 PEGASUS摘要模型实验分析

PEGASUS模型在训练集和验证集损失随训练轮次变化如图3所示。可以看出，到第7轮模型开始逐渐收敛。

对实验结果进行分析，可以发现模型在各项ROUGE 指标上均展现出不俗的表现。具体来看，ROUGE-1指标反映了模型在一元词组上的表现，其精确率（Precision） 达到了64.2%，召回率（Recall） 为61.9%，F1 分数（F-measure） 为63.1%。这表明PEGASUS模型在捕捉对话中的基础词汇信息方面表现优异，能够有效识别并保留原始对话中重要的单个词汇。在更为复杂的二元词组评估上，即ROUGE-2 指标，模型展示了62.7%的精确率、58.8%的召回率以及62.1%的F1分数。虽然相较于ROUGE-1略有下降，但这些数据依然显示出模型具备良好的能力去识别和生成对话中的关键短语。这说明PEGASUS不仅能够处理单独词汇，而且对于连贯表达的短语也具有较高的准确性。最后，ROUGE-L指标——用于衡量生成摘要与参考摘要之间的最长公共子序列长度，其精确率为59.7%，召回率为57.4%，F1分数为58.5%。这一成绩表明PEGASUS模型在保持摘要逻辑结构的连贯性方面尤为出色，确保了生成的摘要不仅是信息浓缩的结果，同时也保留了原文本的逻辑流动性和上下文关联性。

综合以上，可以得出PEGASUS模型在此次实验中不仅有效提取了对话长文本的关键信息，而且保持了摘要的连贯性和可读性，从而很好地达到了实验的预期目标，证明了其在实际应用中的适用性和有效性。预测数据示例如表4所示。

3.2 BERT 情绪分类模型实验分析

BERT模型在训练集和验证集损失随训练轮次变化如图4所示。可以看出，模型在20个Epoch之后开始收敛。

本实验采用准确率（Accuracy） [16-18]、精确率（Preci⁃sion） 和F1分数作为模型的评价指标。模型在训练集和验证集上的分数如表5所示。

在本实验中，笔者分别对BERT模型的预训练权重进行了冻结和未冻结两种设置来进行对比实验。结果显示，这两种设置下的模型性能存在显著差异，尤其是在训练集和验证集上的表现尤为明显。

对于不冻结预训练权重的模型，在训练集上达到了78%的准确率、75.4%的精确率以及77%的F1分数；而在验证集上，这些指标分别为74%、68% 和71%。相比之下，当冻结了预训练权重后，模型在训练集上的准确率提升到了95%，精确率达到92.5%，F1分数为93.7%。这表明，冻结预训练权重可以极大地提高模型在训练阶段的学习效率，使模型更快地达到更高的性能水平。

更重要的是，在验证集上的评估结果显示，冻结预训练权重后的模型依然能够保持出色的泛化能力，其准确率为91%，精确率为87.5%，F1分数为89.2%。与未冻结预训练权重的模型相比，冻结权重不仅提高了各项性能指标，还有效减少了过拟合的风险，增强了模型在未知数据上的适用性和稳定性。这种方法还能有效节省计算资源，缩短训练时间，特别适合处理大规模数据集或实时应用需求。

不冻结参数增加训练难度，并破坏预训练过程中学到的语言结构信息。预测数据示例如表6所示。

3.3 实践反馈

模型训练完成后，该情绪预测模型被应用于公司客服部门对用户每日对话记录的分析。平均每天处理约25000条通话记录，以支持客服团队高效应对海量客户互动数据。为了确保数据分析的时效性和准确性，系统设定在每日21：00之后开始对当天所有通话记录进行情绪分类预测。

根据模型的预测结果显示，每天的通话记录中，“平静”标签占比约为51.31%，“满意”标签占比约为44.29%，而“不满意”标签仅占约4.4%，对应大约1100人次。次日，标记为“不满意”的用户信息通过公司内部的应用程序及时传达给一线网格员，网格员对这些用户进行电话回访。本公司共有约400名一线网格员，平均每人每日需跟进约2.75例电话回访任务。

网格员们针对诸如收费明细疑问、产品套餐理解障碍等问题提供即时解释，并力求获得用户的正面评价。对于涉及宽带故障、信号质量不佳或基站少等技术问题，他们会安抚用户情绪，并立即向网络部门反馈，确保问题得到迅速响应和妥善处理，直至用户满意。

经过两个月的实践应用，公司的客户满意度在工信部的整体测评中显著提升，从81.94% 提高到了85.89%，远超行业平均水平82.97%。这不仅证明了情绪预测模型的有效性，还展示了主动开展修复动作能显著提升用户对公司的满意度。

4 结束语

本文提出的基于PEGASUS和BERT的情绪预测模型，能够有效预测用户满意度，并推动运营商服务模式由被动响应向主动修复转型。未来研究可进一步优化模型，并探索其他人工智能技术在客户服务中的应用。