对话系统学习&概述（仅够参考）_对话系统评价指标

对话系统（仅够参考）

背景

  对话系统一般包括领域内(任务型)对话（比如订票，订餐等）和开放领域对话。前者主要是靠识别特定的意图+反复确认来实现，整体来说难度不高，而后者实现起来相对来说较为困难，目前也较为不成熟。之前一些开发领域对话的解决方案如微软的小冰都是一套很复杂的架构，但是随着最近几年预训练模型取得的成功，对话系统领域也开始探索端到端的实现方式，尤其在2019，2020，2021这三年涌现出了很多相关研究。比如2020年1月份google发表的Meena、4月份Facebook的Blender以及百度PLATO系列包括PLATO、PLATO-2、PLATO-XL等等，前两篇分别发表在ACL2020和ACL-IJCNLP2021，PLATO-XL则是今年9月在arxiv上预印，目前效果比较好的就是百度的PLATO-XL系列。 这里做一个简单的总结：

  更多的对话Bot可以看https://zhuanlan.zhihu.com/p/428694878

类人对话系统的关键特征

  类人对话系统应同时具备情商和智商，能在多领域多场景综合运用多技能，来满足用户的信息需求和社交需求。在智商方面，能够帮助用户完成任务、信息获取、推荐等；在情商方面，能够理解情感情绪，表达共情，实现情感陪伴、情绪疏导等社交类任务。因此，我们可以从满足信息需求能力、满足社交需求的能力这两个维度去衡量对话系统的类人水平，这主要体现在以下三个关键特征：

1、有知识，言之有物：实现一定程度的理解，并运用知识生成高质量的回复。
2、有个性，拟人化：要求机器体现固定、一致的个性和风格，具有固定的人设和个性。
3、有情感，有温度：具备情绪感知、情感支持和心理疏导的能力，从而让聊天过程更有温度，满足用户的情感需求。

  然而，当前的对话系统在理解力、拟人化和与人互动方面面临着巨大的挑战，距离人类水平的对话互动能力还相去甚远。比如任务导向型对话系统具有很强的任务完成能力，但是社交能力比较低；而对于开放域对话系统来讲，它的主要目标是社交，任务完成能力相对较弱。为了提高对话系统的信息处理和社交连接能力，需要综合考虑不同系统的技术实现思路并进行融合。

  比如，借鉴任务型对话系统的实体识别、意图理解、语义分析以及填槽等技术，以提高对话系统的理解力；对于开放域对话系统，我们注重其弱语义处理的能力，包括利用数据驱动的方法、端到端的系统框架，以及如何充分利用当前的深度学习模型以及大规模语言模型。

  因此，在构建下一代类人对话系统时，我们应综合考虑任务型和开放域对话系统的技术方法，从知识运用、个性体现、情感识别与表达三个层次入手，综合运用多种技能，提高对话系统的理解力、拟人化和互动性，使其在多种场景和领域中实现更接近于人类的对话能力，以满足用户的需求。

1、知识运用

  在知识运用层面，通过引入知识，来加强对话系统的理解力和推理能力。在下图所示的对话中，讨论的是一个关于歌手汪峰的主题 。在这样的对话过程中，系统将对话内容对应到一个特定的知识领域，从而使对话过程言之有物。在进行会话时，将相关的实体与知识图谱进行了联系，然后将结构知识表达为向量，实现了知识的编码与解码。通过这样的编码和解码处理，可以达到某种程度的理解，让回答变得更有说服力，增加了对话过程中产生的信息量。

2、个性体现

  高质量的对话活动需要赢得对方的信任，而具有固定、一致的个性、身份是其中的关键因素。具有固定一致个性的对话交互技术，在情感陪护、心理咨询等对话场景中有着非常重要的应用。在对话的过程中缺乏一致的身份和个性，会使得系统在对话的过程中难以取得用户的信任，因此难以进行有效的社交互动。

  围绕类人对话系统的个性体现，以 Emohaa 与用户的对话为例：在对话中，Emohaa先是用语言直接地表达了自己的身份（女生）和很可爱的个性，面对客户的反问“为什么觉得自己很可爱”，Emohaa也能够回复“因为可爱，所以可爱”这样的个性化描述，强化自己可爱的特性。

  个性体现还涉及到更深层次的说话风格。在说话风格的研究中，我们发现对话可以实现正式与非正式互相之间的转换，以及礼貌和非礼貌之间的转换。但这种用自然语言表达角色和个性通常是微妙和含蓄的，研究也极具挑战。

3、情感识别与表达

  1997年，MIT教授Picard提出了情感计算的概念，指出「情感感知和情绪表达是人类智能行为中的重要特征」。情绪感知和情感表达在人类的智能交互里至关重要，这不仅能提高系统表现和用户满意度，还能很大程度上体现系统的情商，避免对话陷入僵局。

  清华大学的CoAI课题组在2018年提出了情绪化聊天机器人（Emotional Chatting Machine, ECM）系统，希望能够让对话系统像人类一样表达喜怒哀乐。当指定一个情绪类别时，对话系统能生成对应情绪类别、且适合对话上文的回复内容。

  实现情绪化的对话过程，是类人对话系统实现情感智能的一小步。而在日常对话中对他人表达同理心，是情绪有效表达的必要条件之一。它使系统能够理解、感知和适当地回应用户的情况和感受，从而很大程度地改善用户体验和满意度。因此，如何让对话系统中具备共情能力，是迈向类人对话系统的关键一步。体现共情，通常要求对话系统具备情绪疏导或心理疏导的能力，以完成复杂的情感交流任务。

  为此，CoAI课题组借鉴心理咨询的中助人技巧理论，提出了一个三阶段理论模型。第一阶段先确认用户的具体问题，第二阶段通过共情、理解表达支持，第三个阶段为用户提供解决方案、出路。在每一个阶段都设计了相应的策略，如提供信息、直接指导、挑战、解释等。通过这些策略，才能实现有效的情绪疏导和心理疏导。这个技术，正是Emohaa背后最核心的技术，Emohaa学习了人类咨询师的助人技术，能实现一定程度的共情技巧，真正帮人实现情绪支持和心理疏导。

  共情是一个广泛的概念，包括情感和认知两个方面。情感方面涉及对用户体验的情感模拟，而认知方面旨在理解用户的处境和隐性的情感。现有的研究方法通常只关注情感方面，即通过检测和利用用户的情感来产生共情的交互。

  然而，实现共情，除了识别用户的情绪外，还应该考虑对用户处境的认知。为此，CoAI课题组提出了一种新的共情响应生成方法，即利用常识来加强认知，获取更多关于用户情况的信息，并利用这些额外的信息进一步增强生成响应中的共情表达。

数据集

  这里主要介绍一下常用的公开数据集和评价方式以及训练这些模型需要的一个资源。

  英文公开数据集：Reddit and Twitter 爬取的数据集。

  中文公开数据集：chatterbot，豆瓣多轮，PTT八卦语料，青云语料，电视剧对白语料，贴吧论坛回语料，微博语料，小黄鸡语料。

评价方式

评价的一些指标

训练模型需要的资源

任务型对话系统预训练最新研究进展

  近年来，随着预训练模型的发展，对话领域的研究也逐渐开始关注基于预训练的端到端对话系统，2019-2021 这三年的时间涌现出很多关于开放域对话系统预训练的相关研究，基于英文的包括 google 在 2020 年 1 月发表的 Meena、Facebook 在 4 月发表的 Blender，基于中文的主要以百度 PLATO 系列模型为代表。这些模型的成功一定程度上表明海量数据和更大的模型能为对话系统带来很好的性能收益。

  然而，这种依靠参数量、数据量来提升系统性能的方式对于任务型对话而言并不完全适用。一方面，任务型对话数据集本身比闲聊型对话更难收集，想要获取一个非常大的数据集来对任务型对话系统进行预训练是非常困难的；另一方面，预训练模型参数过大，训练和运行需要很高的计算成本，会存在无法快速部署的问题。由于以上问题的存在，任务型对话预训练的发展速度明显不如开放域对话，但最近两年也逐渐有一些针对任务型对话进行预训练的相关工作。

  主要的工作有：

• 2020EMNLP：TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [2]
• 2021TACL：Soloist: Building task bots at scale with transfer learning and machine teaching [3]
• 2021arXiv：PPTOD：Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System（PPTOD）[4]
• 2022AAAI：GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised[5] Learning and Explicit Policy Injection

【待补充。。。。】

参考文献

1、https://mp.weixin.qq.com/s/FeOm2gRoNVt1S4adnBeV7Q
2、https://mp.weixin.qq.com/s/-ZbDqxS7RsS7B__6oKbSHA
3、https://mp.weixin.qq.com/s/b3JSE1o9dr7loafwhEWomA
4、https://mp.weixin.qq.com/s/c11ksniOBG8-Q0fWxNZX6Q
5、https://mp.weixin.qq.com/s/cVT3jt777lL7meJ24-N2GA