关于NLP的编码问题的思索_nlp处理文字都是先转为 unicode编码吗

作者：AllinToyou | 2024-04-06 12:22:05

踩

nlp处理文字都是先转为 unicode编码吗

前几天，在尝试通过nltk工具包对唐诗进行一些处理分析的时候，遇到了编码解码方面的错误。错误如下，就是 UnicodeDecodeError: 'gbk' codec can't decode bytes in position 738868-738869: illegal multibyte s。

很明显，这是编码解码上的错误，于是去度娘那里仔细了解了一下编码解码方面的知识，得到了一个算是一劳永逸的解决思路：由于Python处理的字符都是Unicode编码，不管输入的文本是什么编码，把输入的文本解码为Unicode编码，然后输出时再编码为所需编码。

所以我在解决我的这个中文编码问题中，首先将输入的文本另存为utf-8格式之后，然后使用python处理解码为unicode，处理完后的结果写入文本时再编码为utf-8就可以了。

其中读取文本的代码片段为：


import codecs
lines = codecs.open(filename1,'r',encoding='utf-8')
for line in lines:
	print(line.encode('utf-8'))

写入文本的代码片段为：


with open(filename2, 'w') as lines:
	for line in list_s:
		lines.write(line.encode('utf-8')+'\n')

这样就完美解决了这个UnicodeDecode问题。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/371850