热门标签
热门文章
- 1OpenNJet ： 下一代云原生应用引擎_opennjet竞品
- 2【NLP】文本分类
- 3【路径规划】(4) 蚁群算法，附python完整代码_蚁群算法旅行商问题python
- 4哪个学校计算机每年招不满,211院校有每年考研招不满的情况吗？
- 5新手如何开始学习自动化测试？_新手小白能做自动化测试吗
- 6[独有源码]springboot音乐推荐系统_ttibt借鉴他人经验，找到适合自己的毕业设计_音乐推荐系统框架图
- 7【Java】轻松掌握栈的基本操作_java 栈
- 8https错误ERR_SSL_VERSION_OR_CIPHER_MISMATCH
- 9【Git】如何进行Git的配置、用户名密码缓存和清除（总结）_清除git config credential.helper store的数据
- 10NoSQL数据库（林子雨慕课课程）_林子雨nosql 和关系数据库的操作比较
当前位置: article > 正文
nlp中的数据清洗
作者：Monodyee | 2024-05-25 01:09:07
赞
踩
nlp中的数据清洗
在nlp任务，肯定会遇到很多无意义的词和句子
对于词，我们可以用停用词表去除
对于句子，我们该怎样去掉呢
- 首先自身标注一些数据，如url，还有一些其他无意义的句子
- 使用无监督模型将句子转换成向量
- 当文本输入时，去掉与这些句子相似的句子
当然，这样的计算开销可能变得很大，必要的时候我们可以使用lsh或者Faiss来减少计算开销
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/619912
推荐阅读
相关标签
