Chatterbot 打造游戏AI客服机器人_客服聊天机器人 开源 中文

• 准备工具

1、开发语言：Python3

2、数据库：MongoDB

3、开源框架：Chatterbot  

4、依赖类库：

1. pip3 install chatterbot
2. pip3 install spacy
3. # 需要手动编译安装 en_core_web_sm(使用2.1版本)
4. pip3 install jieba
5. pip3 install colorama
6. pip3 install pymongo 

• Chatterbot 介绍

About ChatterBot — ChatterBot 1.0.8 documentation 简单来说就是一个对话机器人框架

1、预处理器

对输入的文本作预处理，比如去掉一些不必要的空格

2、逻辑适配器

1）最佳匹配适配器

使用函数将输入语句与已知语句进行比较。一旦找到与输入语句最接近的匹配，它就使用另一个函数来选择该语句的一个已知响应。

2）时间适配器

询问关于当前时间的问题的语句

User: What time is it?

Bot: The current time is 4:45PM.

3）数学适配器

检查给定的语句，以查看它是否包含可以计算的数学表达式。如果存在，则返回包含结果的响应。这个适配器能够处理字和数字运算符的任意组合。

User: What is four plus four?

Bot: (4 + 4) = 8

4）特定响应适配器

如果聊天机器人接收到的输入与为此适配器指定的输入文本匹配，则将返回指定的响应。

如果出现低置信度，则直接返回具体的文本

比如输入人工客服，返回特定的响应：

1. >>> 人工客服
2. Robot (1) : 
3. 您好，正在转接人工客服，请稍后。

3、存储适配器

简单来说，存储适配器提供了一个接口，允许ChatterBot连接到不同的存储技术，不指定默认使用 SQLite 数据库存储聊天记录，会在执行程序的目录生成一个db.sqlite3文件

推荐是使用mongoDB作为存储适配器

还可以使用mysql：

4、过滤器

可以通过过滤器过滤一些非法的输入语句

5、比较算法

可以自定义一个比较算法，最后返回一个0-1之间的得分值

三、Chattbot算法与文本相似度

1、Chatterbot使用的算法

在对话生成方面，ChatterBot 使用了一种基于深度学习的序列到序列模型来生成回答。具体来说，它使用了一种叫做 LSTM（长短时记忆）的神经网络模型，将对话历史和用户输入转化为一个序列，然后根据先前的对话历史来预测下一个可能的回复。

2、文本相似度计算

将问句表示成一个高维向量，因为一段自然语言文本可能包含很多不同的词汇，每个词汇都对应一个维度。

假设我们有以下两句话：

可以请问你多大了吗？

你今年几岁了？

我们已经将它们表示为以下向量：

v1 = [1, 1, 0, 0, 1, 0, 0, 1, 0]

v2 = [0, 1, 1, 1, 1, 0, 0, 1, 0]

可以通过如下公式计算这两个向量的余弦相似度：

cos_sim(v1, v2) = (v1 • v2) / (||v1|| * ||v2||)

 

其中，“•”表示两个向量的点积，表示对应元素相乘之和。而“||v||”表示一个向量的模，即该向量的所有元素平方和的非负平方根。

按照上述公式计算得到两个向量的余弦相似度为 0.5，这说明这两句话在意义上比较相似。当用户输入一句与 v1 向量比较相似的话时，ChatterBot 可以将回答设置为“我的年龄是……”。

余弦相似度的取值范围是 [-1, 1]，其中 1 表示两个向量完全相同，-1 表示两个向量方向完全相反，0 表示两个向量互相垂直。

四、利用chatterbot打造AI客服问答机器人

1）准备语料库

第一行为Question，第二行为answer。它支持json，txt，yml各种格式文件，以txt为例子：

比如有以下的一段对话：

Q：我不知道如何安装游戏。

A：您可以在我们的网站上找到安装说明，或者尝试卸载并重新安装游戏。

Q：我忘记了我的游戏账号密码。

A：请尝试通过我们的密码恢复选项重置您的密码。

存为txt格式直接就是：

我不知道如何安装游戏。

您可以在我们的网站上找到安装说明，或者尝试卸载并重新安装游戏。

我忘记了我的游戏账号密码。

请尝试通过我们的密码恢复选项重置您的密码。

这里记录为 corpus.txt 待会用到

2）利用jieba分词工具进行分词

# -*- coding: utf-8 -*-
import jieba
 
file_path = "corpus.txt"  # 将 your_file_path.txt 替换成您的文件路径
with open(file_path, "r", encoding="utf-8") as f:
  lines = f.readlines()
 
new_lines = []
for line in lines:
    if line.strip():  # 判断是否为空行
        new_lines.append(line)
 
text = ''.join(new_lines)
 
word_list = jieba.cut(text)  # 进行分词
result = " ".join(word_list)  # 将分词结果合并为字符串，以空格隔开
 
file_path = 'corpus_cut.txt'  # 将 your_file_path.txt 替换成您的文件路径
with open(file_path, mode='a', encoding='utf-8') as f:
    # 写入数据
    f.write(result+'\n')

官网文档并没有推荐使用jieba分词进行拟合度的优化，为什么要用jieba进行中文分词？

这也是我自己探索出来的，之前没用分词工具的时候，发现拟合度很差，后面猜测是框架的计算对中文不准确，对中文的分词效果很差，导致计算出来的词向量其实是误差很大的。中文没有像英文一样的明显的单词边界，因此需要使用专门的中文分词工具将中文文本分成有意义的词语，这样计算出来的词向量才是比较精准的。

Jieba 分词工具利用了统计算法和规则引擎的结合，通过分析中文文本中每个汉字与周围汉字的关系，来确定最可能的分词结果。这样可以大大提高分词的准确性，从而更好地反映出中文句子的含义。

3）训练数据

# -*- coding: utf-8 -*-
from chatterbot import ChatBot
from chatterbot.trainers import ListTrainer
import chatterbot.comparisons as comparisons
import chatterbot.response_selection as response_selection
import logging
 
logging.basicConfig(level=logging.INFO)
 
chatbot = ChatBot("Ron", logic_adapters=[
        {
            'import_path': 'chatterbot.logic.BestMatch',
            "statement_comparison_function": comparisons.LevenshteinDistance,
            "response_selection_method": response_selection.get_first_response,
            'default_response': 'I am sorry, but I do not understand.',
            'maximum_similarity_threshold': 0.90
        },
        {
            'import_path': 'chatterbot.logic.SpecificResponseAdapter',
            'input_text': '人工客服',
            'output_text': 'Ok, here is a link: http://chatterbot.rtfd.org'
        }
    ],
    storage_adapter='chatterbot.storage.MongoDatabaseAdapter',
    database_uri='mongodb://127.0.0.1:xxxx/chatbot'
    )
 
 
# 打开并读取 TXT 文件内容
with open('corpus_cut.txt', 'r', encoding='utf-8') as file:
    conversation = file.readlines()
 
# 创建训练器实例并迭代训练
trainer = ListTrainer(chatbot)
trainer.train(conversation)

ChatterBot 提供了多种存储适配器（Storage Adapter），可以将训练好的模型数据保存到不同的存储介质中，如文本文件、SQLite 数据库、MongoDB 数据库、Redis 队列等。其中，最常用的存储适配器是 JSON 文件和 SQLite 数据库。

如果你使用 SQLite 存储适配器，那么训练好的模型数据就会被保存在 SQLite 数据库文件中；如果你使用 JSON 存储适配器，那么训练好的模型数据就会被保存在 JSON 文件中。在每次启动机器人时，ChatterBot 会自动从指定的存储介质中加载模型数据。

4）通过命令行进行测试

注意要把输入的问句进行分词，然后丢给模型去匹配才能更精准

# -*- coding: utf-8 -*-
from chatterbot import ChatBot
import chatterbot.comparisons as comparisons
import chatterbot.response_selection as response_selection
 
import jieba
import time
import colorama
from colorama import Fore,Style
import logging
 
logging.basicConfig(level=logging.INFO)
 
colorama.init()  # 初始化 colorama，必须先执行
 
chatbot = ChatBot("Ron", logic_adapters=[
        {
            'import_path': 'chatterbot.logic.BestMatch',
            "statement_comparison_function": comparisons.LevenshteinDistance,
            "response_selection_method": response_selection.get_first_response,
            'default_response': '无法识别您的问题，可以联系人工客服，请输入"人工客服"四个字',
            'maximum_similarity_threshold': 0.9
        },
        {
            'import_path': 'chatterbot.logic.SpecificResponseAdapter',
            'input_text': '人工客服',
            'output_text': '您好，正在转接人工客服，请稍后。'
        },
        {
            'import_path': 'chatterbot.logic.SpecificResponseAdapter',
            'input_text': '你好',
            'output_text': '你好，我是智能问答机器人，能问有什么可以帮到你？'
        }
    ],
    storage_adapter='chatterbot.storage.MongoDatabaseAdapter',
    database_uri='mongodb://127.0.0.1:27017/chatbot',
)
 
 
# 轮询对话
while True:
    try:
        # 等待用户输入
        user_input = input('>>> ')
 
        if user_input:
            if user_input != '人工客服':
 
                # 获取 chatbot 响应
                word_list = jieba.cut(user_input)  # 进行分词
                result = " ".join(word_list)  # 将分词结果合并为字符串，以空格隔开
            else:
                result = user_input
            
            bot_response = chatbot.get_response(result)
 
            score = bot_response.confidence
 
 
            resp = bot_response.text
            resp = resp.replace(" ", "")
 
 
            print(Style.BRIGHT + Fore.BLUE + "Robot " + "("+str(score)+ ") : "+ Fore.RESET+ Style.RESET_ALL)
 
 
            for i in range(len(resp)):
                print(Fore.YELLOW + resp[:i+1]+ Fore.RESET, end='\r')
                time.sleep(0.1)
 
            print()  # 输出换行符以保证控制台输出完整
        
 
        
    except (KeyboardInterrupt, EOFError, SystemExit):
        break

5) 启动mongoDB并查看相关的数据

use chatbot
show collections
db.statements.find()