[nlp]问答摘要与推理 : 构建vocab词典_[nlp]问答摘要与推理汽车

作者：人工智能uu | 2024-08-11 20:32:11

踩

[nlp]问答摘要与推理汽车

在这里插入图片描述

P.S.代码之后传到github , blog里只总结方法。

数据集路径
载入数据（这里可以封装函数def load_dataset）
空值处理
无用字符清理
切词
1. 分词方法选择
除了jieba分词，还有哈工大的等。下为jieba分词的例子，可以使用jieba.load_userdict(‘user_dict.txt’)载入自定义词典（一词一行），避免被分词。
2.切词后再清理

sentence='2010款的宝马X1，2011年出厂，2.0排量'
print(list(jieba.cut1

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/965971

[nlp]问答摘要与推理 : 构建vocab词典_[nlp]问答摘要与推理 汽车