58同城智能客服实践：QABot机器人在黄页业务中的智能问答探索

指导

58同一城市是中国最大的生活服务信息服务平台。它连接了数千万的C端用户和数百万的B端商人。为了增强B -End商人和C -End用户的有效联系，我们根据智能对话机器人建立了帮助。智能客户服务商人版本，这是Micro -Chat中对用户问题的智能响应的功能之一。

背景

智能答复过程包括两个部分：QABOT机器人和Taskbot机器人。如图所示，Qabot机器人的第一部分用于回答用户问题。 Taskbot机器人的第二部分用于指导用户留下更多信息和商机。在黄色页面中，在本文中，我们主要谈论Qabot机器人的实践探索。

黄页业务中智能问答的困难

黄页场景的业务线数量相对较大，并且在不同业务线之间的消息分布很大。用户新闻比智能客户服务短，并且有很多语句。这些语句很难归因于某种类型的问题咨询，因此智能客户服务场景的结果很低。为此，我们首先将分类模型用于在线迭代，然后尝试分类模型+检索方法。

分类模型整体体系结构

QABOT问答机器人目前是通过分类模型实施的，类别模型正在开始冷启动和在线迭代过程。在冷启动过程中，我们在生产线上拉了各种业务线的微核数据日志，并提取了C-侧用户消息，以通过BERT [1]或WORD2VEC [2]生成用户消息向量。 Bi-Kmeans方法用于收集聚类以收集类似语义的用户消息。

落后聚类的结果，类似的语义消息被归类为一个类别（例如：“价格是多少？”更高的类别可以涵盖用户的高频问题。为了促进学生的标记，我们抽象了标准总结此类的每种类型的问题。终于实现了。

标准问题ID

标准问题

扩展问题

2001

价格是多少？

多少

如何计算

2002

您会回收某件事吗？

回收Maotai？

有电视，您恢复吗？

分类模型选择

在选择分类模型中，我们考虑了该行业常用的各种算法：

（1）FastText

FastText [3]是Facebook于2016年发布的文本分类模型。它具有简单结构，培训和推理速度的特征。 FastText类似于生成的向量的CBOW方法结构，并且使用N-Gram方法。在预测过程中，分层软磁性用于加速训练。

FastText可以在文本分类任务中快速实现基线，取得相对良好的结果，并花费更少的时间，并且适合快速启动项目启动期。

（2）LSTM+DSSM

DSSM [4]是深层结构化语义模型。该模型来自微软研究所。主要方法是将查询和DOC通过深网映射到相同维度的空间，并训练其他字符串的相似性。

LSTM-DSSM是DSSM的优化。基于本机DSSM，将LSTM作为句子表示，以提取更多的语义信息。

（3）伯特

Bert是Google发布的预培训模型。它使用12个层压器变压器和一个多头注意机制来使用大量数据进行预训练，以获取通用模型并在大量数据集中创建最佳结果。在实际应用过程中，您只需要在当前任务上完成原始模型即可。

（4）SPTM

SPTM是58个自我开发的框架。该框架使用与BERT相同的预训练数据方法。 SPTM的第一个版本删除了NSP培训任务。粒度的数据被随机覆盖15％的单词。并将BERT中的变压器替换为剩余的BI-LSTM进行预训练，并在完成预训练后保留模型参数。而不是最终的完整连接层时，则使用不同场景的标记数据来罚款 - 训练模型。整体结构如图所示：

在选择分类模型的选择中，我们指的是其他业务线的实验结果，并采用了自我开发的自我开发的SPTM框架。 SPTM可以在离线实验中保持更高的分类准确性，并在匹配匹配过程中满足准确召回率的总体要求。同时，就时间消耗而言，它仍然可以具有相对较快的推理速度。使用FastText作为基线，LSTM+DSSM可以根据基线的基线增加6.07％，而BERT和SPTM可以分别将F1增加到21.37％和20.79％。效果是显而易见的。就推理时间而言，SPTM在CPU方案中需要11.74ms。与Bert的81ms相比，它可以大大减少预测时间并满足在线预测要求。

检索模型探索

在问答场景中，结果速率是一个重要的指标。计算方法是：通过AI响应发送的用户消息/用户发送的消息总量。较低的结果率将导致大量用户消息无法回复，并且用户的问答体验降低了。在黄色页面场景中，用户消息中有大量的语句和简短的简短句子，这很难在某种类型的问题中进行分类，从而导致结果率较低。

人工客户服务与用户有许多历史交互数据。为了有效地使用人工客户服务数据来提高结果率和用户体验，我们尝试了将搜索模型和分类模型组合的方法来提高结果率。检索模型将构建离线问答，以用于在线用户和客户服务的微观数据。当在线用户咨询时，距用户新闻距离的搜索距离是最接近的消息，可以回答相应的客户服务回复以回答用户。

构造特征模型的离线过程如下图所示

（1）通过IDCNN实体识别诸如电话，地址，时间和其他信息之类的信息，并通过姓氏和不适当的响应通过规则和手动进行过滤。

（2）使用Albert Tiny [5]作为用户消息表示模型，用户消息将以312维矢量和水平缝线为特征，并构造。

（3）多轮消息表示培训FAISS任务，用于在线检索最近的邻居，并回复Redis以获取在线答案。

在线预测过程中显示了：

（1）用户消息通过Albert Tiny输出Excoder 312维度的312维度向量，并在缝合后获得多个回合

（2）通过faiss检索进行审查和回忆多个类似的矢量

（3）阈值过滤，从本质的本质中选择TOP1的相似特征

（4）获取带有相应ID的相应人工客户服务回复作为密钥的关键

模型融合

在消息分布中，检索模型模型的分布和分类模型的分布存在差异。为此，我们结合了搜索模型和分类模型。首选检索模型，并将分类模型用作底部。当搜索模型不可用时，将回复分类模型。

融合模型提高了用户的结果速率。与分类模型相比，仅使用搜索模型才能将结果率提高7.68％。在融合搜索模型和分类模型之后，精度尚未下降。

就模型融合而言，当前的融合方法逻辑相对简单，并且仅在检索结果不符合要求时才调用分类模型。但是，实际的在线搜索答案结果不一定比分类模型答案更好。在这里，您可以构建一个良好的模型，该模型将确定最终选择，以确定通过检索答案来确定分类模型的答案。但是，搜索模型仍然存在一些问题。历史数据不一定是适当的，需要进行大量的手动审查。由于人工客户服务中商机的内容，搜索结果在智能答复中与Taskbot冲突。

摘要和前景

Help Merchant Edition是一个有效连接商人和用户的平台。 QABOT是与用户直接互动的渠道，这与用户体验有关。通过不断优化实践，我们改善了Qabot的问答效果，促进不同业务线的商机改善，并为公司带来更多好处。

将来，在实际过程中将进行更多算法调查。例如，尝试在搜索过程中尝试尝试DAM [6]和其他方法，例如DAM [6]，而不是阈值或规则，以提高Q＆A匹配的准确性。

参考：

[1] Devlin J，Chang MW，Lee K等。 BERT：深层双向变压器的预训练，用于语言理解[J]。 2018。

[2] Mikolov T，Chen K，Corrado G等。有效估计矢量spince中的单词抑制[J]。计算机科学，2013年。

[3] Joulin A，Graves E，Bojanowski P等。用于有效文本分类的技巧袋[J]。 2016。

[4] Huang PS，He X，Gao J等。使用RoughroughRough数据[C] //第22 ACM国际信息与知识管理会议的论文集学习深层搜索结构模型。 ACM，2013年。

[5] Lan Z，Chen M，Goodman S等。阿尔伯特（Albert）：一种用于自我监督语言表征学习的精简版[J]。 ARXIV预印术：1909.11942，2019。2019。2019。

[6] Xiangyang Zhou ∗，lu li ∗，do等。聊天机器人的多转响应选择，使用Dething注意力网络[C] //计算语言学协会第56届ANNU会议的程序（第1卷：长论文）。 2018。

关于作者：

Guo Zongyi，AI实验室算法工程师58 TEG技术工程平台组

部门资料：

58 TEG技术工程平台集团AI实验室旨在促进AI技术在同一城市的登陆，并创建AI Zhongtai功能，以提高前台业务的人员效应和用户体验。 AI实验室目前负责：智能客户服务，语音机器人，智能写作，智能语音分析平台，智能营销系统，AI算法平台，语音识别等。将来，创新将继续加速和扩展AI应用程序。

有关部门的详细信息，请单击：ailab.58.com