聊天对话大全:读智能对话系统（2）聊天机器人

聊天对话大全:读智能对话系统（2）聊天机器人JD数据团队发表了一篇关于对话系统的论文，“对话系统调查：最新进展和新前沿”。本文引用了124篇论文，对对话系统进行了全面的介绍。地址：超链接https://www.kdd.org/exploration_files/19-2-article3.pdf《机器学习算法全栈工程师》阅读了本文的内容，主要总结了对话系统，特别是对话系统在深度学习中的进展，并探讨了可能的研究方向。主要架构如下：奇点智慧将本文进一步分开，分为四篇介绍智能对话系统。超链接阅读智能会话系统（1）面向任务的会话系统读智能对话系统（2）聊天机器人智能对话系统（3）对话系统的未来发展非任务导向系统（Chatbot）与旨在为用户完成特定任务的面向任务的对话系统不同，非面向任务的对话系统（也称为聊天机器人）专注于与开放区域的人交谈。一般来说，聊天机器人是通过基于生成或检索的方法实现的。生成模型可以产生更合适的响应，而基于检索的模型具有信息丰富、响应平稳的优点，因此在语料库中可能永远不会出现这种响应。1.神经生成模型（神经生成模型）深度学习在机器翻译中的成功应用，即神经机器翻译，引起了人们对神经生成对话研究的热情。目前，神经发生模型的研究热点如下。1.1序列对序列模型给定一个单词的输入序列以及长度t（响应）的目标序列模型最大化了x下y的条件概率：具体来说，seq2seq模型是编码器-解码器结构。下图是该结构的示意图：编码器逐字读取x并通过递归神经网络（RNN）将其表示为上下文向量c，然后解码器以c为输入估计y生成的概率。编码器：编码器过程很简单，使用RNN（通常是LSTM）直接生成语义向量：其中f是非线性函数，如lstm和gru，是前一个隐藏节点的输出，是当前时间的输入。向量c通常是RNN中最后一个隐藏的节点（H，隐藏状态），或多个隐藏节点的加权和。解码器：模型的解码器进程使用另一个RNN根据当前隐藏状态预测当前输出符号。和这里与以前的隐藏状态和输出相关。seq2seq的目标函数定义为：1.2.对话上下文考虑到会话的上下文是构建会话系统的关键，该系统可以保持会话的一致性并改善用户体验。使用分层RNN模型，捕获单个语句的含义，并将它们集成到完整的会话中。同时，采用词级注意法和句子级注意法对层次结构进行了扩展。测试结果：分级RNN的性能通常优于非分级RNN。在考虑了上下文信息之后，神经网络倾向于产生更长、更有意义和多样化的响应。640？wx_fmt=png在上图中，作者通过用连续的表示或嵌入的单词和短语来表示会话的整个历史，包括当前信息，从而解决了上下文敏感的响应生成问题。640？wx_fmt=png在上图的结构中，作者引入了两个层次的注意机制，使模型能够自动学习单词和句子层次的重要信息，从而更好地生成新一轮对话。在句级信息中，作者使用逆向学习，即下一句中的信息更能包含前一句中的信息，因此一般来说，他使用的是每一轮对话的内容逆向。1.3响应多样性当前SEQ2seq对话系统的一个挑战性问题是，它们往往会产生无关紧要或模棱两可的、一般的、几乎毫无意义的回复，通常涉及诸如“我不知道”和“我没事”等无意义的回复。解决这些问题的一个有效途径就是找到并设置一个更好的目标函数。此外，解决这些问题的一种方法是增加模型的复杂性。下面是论文构建端到端对话系统利用生成层次神经网络模型，利用隐变量来解决无意义的回答这个问题。640？wx_fmt=png1.4主题与个性定义对话的内在本质是增加对话多样性并确保其一致性的另一种方式。主体与人格在不同的属性上有着广泛的研究。在下面的模型中，作者注意到人们经常将他们的对话与主题相关的概念聊天对话大全:读智能对话系统（2）聊天机器人