UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte XXX in position xxx: invalid start byte

在进行数据预处理时偶尔会遇到的问题：

使用python处理一个csv数据时报错：
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb8 in position 80210: invalid start byte
起因是文件中包含非ASCII字符或者是其他字符，而pd.read_csv函数默认使用uft-8的格式读取文件，编码异常。这是由于数据在采集、传输、处理等阶段使用了五花八门的软件，导致其中出现了异常编码。一般来说可以通过以下方法解决：
1.首先当然是检查原始文件，以及文件中是否有明显的特殊字符（对于规模较小的文件）
可以循环使用这个函数来按列遍历文件，删除特殊字符：

import re
def remove_special_characters(text):
    return re.sub(r'[^\x00-\x7F]+', '', text)
df['column_name'] = df['column_name'].apply(remove_special_characters)
1
2
3
4

2.其次是直接转换文件的编码格式

import pandas as pd
# 这里直接使用gbk格式打开原始文件
df = pd.read_csv('file.csv', encoding='gbk')
# 将数据重新保存为utf-8
df.to_csv('output_file.csv', encoding='utf-8', index=False)
1
2
3
4
5

第二种方法可能好用，但有数据损失的风险。建议最好还是尽量确定csv档的格式，避免潜在的风险。
在python的api中查文档的编码格式，可以使用chardet包，具体调用如下：

import chardet
with open('file.csv', 'rb') as file:
    result = chardet.detect(file.read())
detected_encoding = result['encoding']
print(f"Detected encoding: {detected_encoding}")
1
2
3
4
5

祝大家科研顺利。