Pandas数据分析 - 去重 - duplicated() drop_duplicates() 用法_duplicates = df.[...].sum()

import numpy as np
import pandas as pd

#生成重复数据
df=pd.DataFrame(np.ones([5,2]),columns=['col1','col2'])
df['col3']=['a','b','a','c','d']
df['col4']=[3,2,3,2,2]
df=df.reindex(columns=['col3','col4','col1','col2'])  #将新增的一列排在第一列
df
 
	col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
2	a	3	1.0	1.0
3	c	2	1.0	1.0
4	d	2	1.0	1.0

#判断重复数据
df.duplicated()
 
0    False
1    False
2     True
3    False
4    False
dtype: bool
 
 
df.duplicated().sum()
 
1

#删除重复值
 
df.drop_duplicates() #删除数据记录中所有列值相同的记录
 
 
col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
3	c	2	1.0	1.0
4	d	2	1.0	1.0
 
 
df.drop_duplicates(['col3']) #删除数据记录中col3列值相同的记录
 
 
col3	col4	col1	col2
0	a	3	1.0	1.0
1	b	2	1.0	1.0
3	c	2	1.0	1.0
4