Python 中 ParserError: Error Tokenizing Data C Error 错误

---

无论出于何种目的玩数据时，都必须对数据进行清理，即填充空值并删除无效条目以清理数据，因此不影响结果，程序运行流畅。

此外，ParserError 的原因：错误标记数据。 C 错误可能是在文件中提供了错误的数据，例如混合数据、不同数量的列或将多个数据文件存储为一个文件。

如果您将 CSV 文件读取为 read_csv 但提供不同的分隔符和行终止符，您也会遇到此错误。

---

什么是Python中 ParserError: Error tokenizing data. C error 错误

如前所述， 当您的 Python 程序解析 CSV 数据但遇到无效值、空值、未填充列等错误时，会发生 ParserError: Error tokenizing data. C error 错误。

假设我们在 data.csv 文件中有这个数据，我们正在使用它在 pandas 的帮助下读取，尽管它有一个错误。

Name,Roll,Course,Marks,CGPA
Ali,1,SE,87,3
John,2,CS,78,
Maria,3,DS,13,,
1
2
3
4

代码示例:

import pandas as pd
pd.read_csv('data.csv')
1
2

输出:

ParserError: Error tokenizing data. C error: Expected 5 fields in line 4, saw 6
1

如您所见，上面的代码从 data.csv 文件中读取数据时抛出了一个 ParserError: Error tokenizing data.C error 错误，表示编译器期望第 4 行中有 5 个字段，但得到的却是 6 个。

错误本身是不言自明的； 它指出了错误的确切位置并显示了错误的原因，因此我们可以修复它。

---

如何修复Python中 ParserError: Error tokenizing data.C error 错误

到目前为止，我们已经了解了 ParserError: Error tokenizing data。 Python 中的 C 错误； 现在让我们看看如何修复它。

始终建议在分析数据之前清理数据，因为它可能会影响结果或使程序无法运行。

数据清理有助于删除无效数据输入、空值和无效条目； 基本上，它是数据分析的预处理阶段。

在 Python 中，我们有不同的函数和参数来帮助清理数据并避免错误。

---

跳过行以修复 ParserError: Error tokenizing data. C error 错误

这是最常见的跳过行的技术之一，会导致错误； 从上面的数据可以看出，最后一行导致了错误。

现在使用参数 on_bad_lines = ‘skip’，它忽略了有问题的行并将剩余的存储在数据帧 df 中。

import pandas as pd
df = pd.read_csv('data.csv', on_bad_lines='skip')
df
1
2
3

输出:

	Name	Roll	Course	Marks	CGPA
0	Ali		1		SE		87		3.0
1	John	2		CS		78		NaN
1
2
3

上面的代码将跳过所有导致错误的行并打印其他行； 正如您在输出中看到的那样，最后一行被跳过，因为它导致了错误。

但是我们得到了需要修复的 NaN 值； 否则会影响我们统计分析的结果。

---

使用正确的分隔符修复 ParserError: Error tokenizing data. C error 错误

使用无效的分隔符也可能导致 ParserError，因此根据您提供的数据使用正确且合适的分隔符很重要。

有时我们使用制表符来分隔 CSV 数据或空格，因此在您的程序中指定该分隔符也很重要。

import pandas as pd
pd.read_csv('data.csv', sep=',',on_bad_lines='skip' ,lineterminator='\n')
1
2

输出:

	Name	Roll	Course	Marks	CGPA\r
0	Ali		1		SE		87		3\r
1	John	2		CS		78		\r
1
2
3

分隔符是 , 这就是我们提到 sep=',' 和行 lineterminator ='\n' 的原因，因为我们的行以 \n 结尾。

---

使用 dropna() 修复 ParserError: Error tokenizing data. C error 错误

dropna 函数用于删除包含任何 Null 或 NaN 值的所有行。

import pandas as pd
df = pd.read_csv('data.csv', on_bad_lines='skip')
print("      **** Before dropna ****")
print(df)

print("\n      **** After dropna ****")
print(df.dropna())
1
2
3
4
5
6
7

输出:

      **** Before dropna ****
   Name  Roll Course  Marks  CGPA
0   Ali     1     SE     87   3.0
1  John     2     CS     78   NaN

      **** After dropna ****
  Name  Roll Course  Marks  CGPA
0  Ali     1     SE     87   3.0
1
2
3
4
5
6
7
8

由于我们只有两行，其中一行包含所有属性，但第二行包含 NaN 值，因此 dropna() 函数跳过了包含 NaN 值的行，只显示了一行。

---

使用 fillna() 函数填充 NaN 值

当您在数据中获得 NaN 值时，可以使用 fillna() 函数替换其他使用默认值 0 的值。

代码示例：

import pandas as pd

print("      **** Before fillna ****")
df = pd.read_csv('data.csv', on_bad_lines='skip')
print(df,"\n\n")

print("      **** After fillna ****")
print(df.fillna(0))  # using 0 inplace of NaN
1
2
3
4
5
6
7
8

输出:

      **** Before fillna ****
   Name  Roll Course  Marks  CGPA
0   Ali     1     SE     87   3.0
1  John     2     CS     78   NaN


      **** After fillna ****
   Name  Roll Course  Marks  CGPA
0   Ali     1     SE     87   3.0
1  John     2     CS     78   0.0
1
2
3
4
5
6
7
8
9
10

fillna() 已将 NaN 替换为 0，因此我们可以正确分析数据。