AipNlp情感分析报错UnicodeEncodeError：‘gbk’ codec can‘t encode... :illegal multibyte sequence详解_百度智能云情感分析报错

作者：人工智能uu | 2024-08-20 01:16:44

踩

百度智能云情感分析报错

背景：

最近做情感分析任务，用百度的AipNlp轮子，结果数据导入之后发现编码问题如标题，全网暂无很好的解决方法。

我们一开始将需要进行情感分析的文本从网站爬取下来，存入excel（utf-8），用AipNlp.sentimentClassify()时依次传入每一句待分析的文本，但是当传入单句中出现“某些字符”时，便会报错。
报错截图如下：
在这里插入图片描述

此问题其实是特殊字符导致的编码问题，经测试，我这里的文本需要全程使用utf-8编码才可以正常处理特殊符号。

失败的解决方案①：打开文件方式设置为encoding=utf-8（或utf-8-sig），并没有解决本质问题。如果打开文件方式设置为gbk则一开始就报错（因为文件是utf-8编码的）

失败的解决方案②：删除Unicode空白、控制字符。这里尝试了网上的remove_control_chars、strip_control_char

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/1004474