【Python爬虫】解决中文乱码_爬虫字符集

解决中文乱码

1.什么是字符编码？

从字符编码说起，无论是Python2还是Python3，总体上说，字符串的编码都只有两大类：

1. 通用的Unicode编码
2. 将Unicode转化成的某种类型的编码，如UTF-8,GBK等

Unicode被称为统一码、万国码或单一码。也就是说，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，大概包含100多万个符号。

Uicode和ASCII的区别是什么？Unicode编码通常是两个字节，而ASCII是一个字节。但是用Unicode编码写英文时每个符号用两个字节，因此要将其中一个字节全部用0表示。浪费了存储空间。因此开发了一些中间格式的字符集，被称为通用转换格式（Unicode Transformation Format (UTF))，常见的有UTF-8和UTF-16。

UTF-8最大的一个特点是长度可变，它可以使用1~4个字节表示一个符号，英文字母通常被编为1个字节，汉字通常被编为3个字节。

对于UTF-8编码，怎么知道什么时候是1个字节，什么时候是3个字节呢？有两条规则：

1. 对于单字节的符号，字节的第1位设为0，后面7位为这个符号的Unicode码。因此对于英文字母，UTF-8编码和ASCII编码是相同的。
2. 对于n字节的符号（n＞1），第1个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10，剩下的没有提及的二进制位全部为这个符号的Unicode码。

2.Python的字符编码

在Python3中，