（五）NLP实战—聊天语料处理_对话语料校对

作者：你好赵伟 | 2024-08-04 23:08:00

踩

对话语料校对

一、数据处理
环境介绍：
sys (python系统库）
pickle（将特有的类型与python的数据类型进行转换的库）
re （正则表达式库）
tqdm（可扩展的进度条）activate nlp，pip list，pip install tqdm --upgrade

二、聊天机器人语料处理流程介绍
在这里插入图片描述
1、语料收集：聊天记录、电影对话、台词片段

2、语料清洗：
在这里插入图片描述
3、句子向量的编码化：
原始的文本不能直接训练
将句子转换成向量
将向量转换成句子

4、语料问答对的构建
在这里插入图片描述
5、语料模型的保存

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/929876