Numpy、Pandas使用大全与各参数详解_pandas、numpy

目录

一、numpy

1、属性、方法与操作

（1）属性

（2）方法

（3）操作

2、文件读取与保存

（1）文件读取

（2）文件保存

3、矩阵生成

二、Pandas

1、属性与方法

（1）属性

（2）方法

2、数据选取

（1）取行

（2）取列

3、数据处理

（1）数据缺失值

（2）空值处理

（3）数据重复处理

（4）数据合并

（5）数据排序

（6）数据分组

4、数据导入与读取

（1）数据库导入

（2）文件读取

5、文件导出

6、数据转换

7、可视化matplotlib函数

---

一、numpy

1、属性、方法与操作

数据类型：ndarray

（1）属性

.ndim：矩阵维度

.shape：矩阵的形状

.size：矩阵中元素的个数

.dtype：元素数据类型

.T：矩阵的转置

（2）方法

reshape(shape)：返回新的数组

resize(shape):返回修改原有的数组

sum()、max()、min()、mean()：可设置axis按行列计算

tolist():array转变为list

fill(value)：填充

（3）操作

array[行索引]:索引

array[起始行:结束行:步长,起始列:结束列:步长]：切片

2、文件读取与保存

（1）文件读取

np.loadtxt(filename,delimiter=,encoding=):文件读取以及参数

dtype:默认以浮点数类型读取

comments：默认忽略掉文件中以#号开头的注释行

delimiter：无默认值，应该指定分隔符如‘,’

usecols：默认取所有列，可以设置读取指定的列如(1,3)指文件的第2和第四列

skiprows：默认0，不跳过头行，可是这跳过开头的n行

maxrows：默认取文件的所有行，可设置读取文件的最大行数，不包括skiprows

（2）文件保存

np.savetxt(filename,array_data,):文件保存以及对应参数

fmt：默认以高精度浮点数保存数据，可以设置如整数‘%d’

delimiter:默认以空格分隔符字段，课设置CSV如‘,’

encoding：默认字符编码模式

3、矩阵生成

np.array(object):生成array数据

np.empty(shape),np.empty_like(a):生成空矩阵

np.zeros(shape), np.zeros_like(a)：生成全为0的矩阵

np.ones(shape), np.ones_like(a)：生成全为1的矩阵

np.full(shape,value), np.full_like(a,value)：生成指定value和类型的矩阵

np.eye(ndim)：生成指定维度且对角线为1，其余地方为0的矩阵

np.fromstring()：创建一个新的一维数组，该数组从字符串中的文本数据初始化

np.arange(start,end,step)：通过arange函数生成一个array对象

np.linspace(first,last,size)：可以生成等间距数组

np.concatenate([a,b],axis=0)：用来对数列或矩阵进行合并的

np.random.rand(), np.random.randn(), np.random.randint(),np.random.uniform(), np.random.normal(), ...：通过Python的随机函数进行array数据类型创建

np.sum(), np.mean(), np.median(), np.max(), np.min(), np.std(),...聚合函数

二、Pandas

1、属性与方法

（1）属性

.index:获取行索引对象

.values：获取element数组

.shape/.ndim/.size/.dtype：数组/维度/大小/类型

.columns：获取列索引对象

.T：获取转置DataFrame

（2）方法

.get(列名,缺省值)：获取列和df[列名]类似，但不会因列名不存在报错

.copy()：复制一个新对象

.head(n)/.tail(n):头/尾n行

.max()/.min()/.mean()/.median()... .describe():数据分布与统计

.insert（插入位置,插入列,插入数据）：插入一列

.drop(行号)、.drop(列名，axis=1)：删除行\列，默认删除行列后生成新的dataframe，如需要在原dataframe上删除可设置参数inplace=True。

del df[列名]：删除列，直接作用在df上

.drop_duplicates(subset=[列名],keep=“first|last”,inplace=False):删除重复项

.unique()：唯一值

.set_index(列名)：使用某列作为index

.reset_index(drop=True|False,inplace=True|False)

.apply(np.sum):对每列数据执行指定的函数运行

df.apply(function,axis=1):生成新列

.apply_map(function)：对每个单元格元素执行指定的运算函数

2、数据选取

（1）取行

按行索引（index）标签取:

df.loc[行标签]：取一行数据导一个Series对象

df.loc[[行标签]]：取一行数据导dataframe对象

df.loc[[行标签1，行标签2,行标签3，...]]：取多行数据到一个dataframe

df.loc[首行标签:末行标签:步长]:行切片

按照行索引（index）位置取

df.iloc[行号]：取一行数据到一个Series对象

df.iloc[[行号]]：取一行数据到一个dataframe对象

df.iloc[[行号1，行号2....]]：取多行数据到一个DataFrame对象

df.iloc[起始行号:结束行号:步长]：行切片

（2）取列

①按列名取：

df[列标签]：取一列数据到一个Series对象

df[[列标签]]：取一列数据到一个dataframe对象

df.loc[[列标签1，列标签2,列标签3，...]]：取多列数据到一个dataframe

df.loc[首列标签:末列标签:步长]:列切片

②按照列索引（index）位置取：

df.iloc[:,列号]：取一列数据到一个Series对象

df.iloc[:,[列号]]：取一列数据到一个dataframe对象

df.iloc[:,[列号1，列号2....]]：取多列数据到一个DataFrame对象

df.iloc[:,起始列号:结束列号:步长]：列切片

③取行列数据：

df.loc[[行标签1,行标签2...],[列标签1,列标签2,...]]：df.loc[按行标签取,按列标签取]

df.loc[首行标签:末行标签:步长, 首列标签:末列标签:步长]：切片

df.iloc[[行号1,行号2,...], [列号1,列号2,...]]：df.iloc[按行位置取,按列位置取]

df.iloc[起始行号:结束行号:步长, 起始列号:结束列号:步长]：切片

3、数据处理

（1）数据缺失值

np.nan\pd.nat：空值类型

.isna()：得到一个元素是否为空的bool矩阵（空值检测）

.notna()：得到一个元素是否不为空的bool矩阵（空值检测）

（2）空值处理

①空值填充：

.fillna(填充值)：使用填充值去填充空值部分

.fillna(method='ffill')：用上一个值填充空值

.fillna(method='bfill')：用下一个值填充空值

.fillna(method='ffill',axis=1)：用左一个值填充空值

.fillna(method='bfill',axis=1)：用右一个值填充空值

df["成绩"].fillna(df["成绩"].mean())：用给定值填充空值

②空值清除

.dropna()：默认除去包含任意空值的行

.dropna(axis=1)：去除包含任意空值的行

.dropna(how='all')：只有一行所有值都为空才去除

.dropna(subset=包含空值的行或列)：只判断给定行或列中是否有空值

（3）数据重复处理

.duplicated()：生成一个是否重复行的bool数组（数据重复检验）

.drop_duplicates()：去除重复项，其中.drop_duplicates(subset=列名)按照列名检测重复项

（4）数据合并

pd.concat([df1,df2],axis=0)：行拼接，列集合

pd.concat([df1,df2],axis=1)：列拼接，行集合

df1.merge(df2,left_on=左表列名,right_on=右表列名, how='innerleft|right|outer|cross')：默认使用相同的列进行关联，也可以指定两个df的不同名关联列

df1.join(df2,on=列名或列号,how='left|right|inner|outer')：默认使用index进行关联，也可以指定两个df的公共关联列

（5）数据排序

.sort_index()：对行索引排序（按index排序）

.sort_index(axis=1)：对列索引(列名)排序（按index排序）

.sort_values(by)：按by列值排序

.sort_values(by, axis=1)：按by行值排序

通用参数：

- ascending：True升序，False降序

- inplace： 是否修改原数据

- na_position: "first"|"last" 缺失值排在最前或最后

（6）数据分组

①使用.groupby()方法分组

df_student.groupby("班级")：单字段分组

df_student.groupby(["班级","性别"])：多字段分组

②使用函数分组

01、行

def set_index_group(index):
 
    if index % 2 == 0:
 
        return "偶数行"
 
    else:
    
        return "奇数行"
 
df_iris.groupby(set_index_group)

02、列

def set_column_group(column_name):
 
    if "length" in column_name:
 
        return "length"
 
    elif "width" in column_name:
 
        return "width"
 
    else:
 
        return "classfication"
 
df_iris.groupby(set_column_group,axis=1)

03、GroupBy对象

.groups：得到所有的group

.get_group()：得到指定的group

.apply()：对group数据执行函数

.agg()|.aggregate()：对group进行聚合统计

.max()/.min()/.mean()/.median()/.sum()/......：对group数据统计

4、数据导入与读取

（1）数据库导入

参数1：conn=pymysql.connect(host='localhost',port=3306,user='root',passwd='密码',db='数据库名')

参数:2：conn=sqlite3.connect('mydb.db')

pd.read_sql_query(sql,conn)：连接关系数据库执行SQL语句并获取结果集

（2）文件读取

pd.read_csv(file)：

参数：

delimiter|sep=','：分隔符

comment='#'：注释符

encoding='utf-8'：文本编码

header=0：列头行

names=[]：指定列名

index_col=[]：指定列作为行索引

usecols=[]：读取指定列

skiprows=0：跳过数据行数

skipfooter=0：截止数据行数

nrows=0：读取数据行数

parse_dates=False：是否转换日期字符串为日期格式

infer_datetime_format=False：是否自动设置日期格式

pd.read_excel(file)：sheet_name=0：指定工作表

pd.read_xml(file_or_buffer)：xpath='./*'：指定读取XPATH路径

pd.read_html(file_or_buffer)：读取HTML页面

pd.read_json()：读取JSON字符串或者JSON文件

pd.read_pickle()：读取pickle序列化文件

5、文件导出

df.to_csv()：将df数据写入分隔符文本文件

df.to_excel()：将df数据写入Excel表格文件

df.to_xml()：将df数据写入XML文件

df.to_html()：将df数据写入HTML文件

df.to_json()：将df数据写入JSON文件

df.to_pickle()：将df数据写入pickle序列化文件

df.to_dict()：转换成字典

6、数据转换

df.to_numpy()：转换成Numpy数组

df.to_string()：转换成字符串

7、可视化matplotlib函数

df.plot()：绘制折线图

df.plot.bar()：绘制柱状图

df.plot.barh()：绘制横柱图

df.plot.scatter()：绘制散点图

df.plot.box()：绘制箱型图

df.plot.hist()：绘制直方图

df.plot.pie()：绘制饼图