Python NumPy和Pandas库的使用指南

numpy:

import numpy as np

np.array([1,2,3]) 创建数组

np.arange(10).reshape(2,5) 类似于range(起始，终止，步长)，可以加reshape(2,5)定义形状。必须是相乘等于前面的size

np.linsapace(1,10,10) 参数为：起始，终止，平分多少个

zeros((2,4)) 根据指定形状和dtype创建全0数组

ones((2,4)) 根据指定形状和dtype创建全1数组

empty((2,4)) 根据指定形状和dtype创建空数组(随机值)

eye(5) 根据指定边长和dtype创建单位矩阵 5*5的矩阵，从0开始的的对角线为1，其他为0

arr[0:2,1:3] 多维数据的切片 逗号前是行，后面是列

布尔型索引：

给一个数组，选出数组中所有大于5的数和偶数。

答案：arr[(a>5) & (a%2==0)] 或是| 非是~

花式索引*

对于一个数组，选出其第1，3，4，6，7个元素，组成新的二维数组。

答案：arr[[1,3,4,6,7]]

对一个二维数组，选出其第一列和第三列，组成新的二维数组。

答案：a[:,[1,3]] 解读：行全取，列要1,3

常见通用函数：

二元函数：

浮点数特殊值：

浮点数：float

浮点数有两个特殊值：

nan(Not a Number)：不等于任何浮点数(nan != nan) 例如：0/0 或者 负数开根号

inf(infinity)：比任何浮点数都大 例如：4/0 为无限大

在数据分析中，nan常被用作表示数据缺失值

常用函数：

sum 求和

cumsum 求前缀和

mean求平均数

std求标准差

var求方差

min求最小值

max求最大值

argmin求最小值索引

argmax求最大值索引

随机数生成函数在np.random子包内

常用函数

rand给定形状产生随机数组(0到1之间的数)

randint给定形状产生随机整数

choice给定形状产生随机选择

shuffle与random.shuffle相同

uniform给定形状产生随机数组

pandas：

pandas的主要功能

具备对其功能的数据结构DataFrame、Series

集成时间序列功能

提供丰富的数学运算和操作

灵活处理缺失数据

Series

Series是一种类似于一位数组的对象，由一组数据和一组与之相关的数据标签(索引)组成。

创建方式：

pd.Series([4,7,-5,3])

结果：0 4

1 7

2 -5

3 3

pd.Series([4,7,-5,3],index=['a','b','c','d'])

结果：a 4

b 7

c -5

d 3

pd.Series({'a':1, 'b':2})

结果：a 1

b 2

pd.Series(0, index=['a','b','c','d’])

a 0

结果：b 0

c 0

d 0

获取值数组和索引数组：values属性和index属性

Series比较像列表(数组)和字典的结合体。

Series支持数组的特性：

从ndarray创建Series：Series(arr)

与标量运算：sr*2

两个Series运算：sr1+sr2

索引：sr[0], sr[[1,2,4]]

切片：sr[0:2](切片依然是视图形式)

通用函数：np.abs(sr)

布尔值过滤：sr[sr>0]

统计函数：mean() sum() cumsum()

Series支持字典的特性(标签)：

loc

从字典创建Series：Series(dic),

in运算：’a’ in sr、for x in sr

键索引：sr['a'], sr[['a', 'b', 'd']]

键切片：sr['a':'c']

其他函数：get('a', default=0)等

loc属性以标签解释

iloc属性以下标解释

如何在两个Series对象相加时将缺失值设为0？

sr1.add(sr2, fill_value=0)

Series缺失数据 NaN

dropna()过滤掉值为NaN的行

fillna()填充缺失数据

isnull()返回布尔数组，缺失值对应为True ： 布尔值索引

notnull()返回布尔数组，缺失值对应为False

过滤缺失数据：sr.dropna() 或 sr[data.notnull()]

填充缺失数据：fillna(0)

DataFrame

创建方式：

pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]})

pd.DataFrame({'one':pd.Series([1,2,3],index=['a','b','c']), 'two':pd.Series([1,2,3,4],index=['b','a','c','d'])})

DataFrame使用索引切片

方法1：两个中括号，先取列再取行。df['A'][0]

方法2(推荐)：使用loc/iloc属性，一个中括号，逗号隔开，先取行再取列。

loc属性：解释为标签

iloc属性：解释为下标

向DataFrame对象中写入值时只使用方法2

行/列索引部分可以是常规索引、切片、布尔值索引、花式索引任意搭配。(注意：两部分都是花式索引时结果可能与预料的不同)

通过标签获取：

df['A']

df[['A', 'B']]

df['A'][0]

df[0:10][['A', 'C']]

df.loc[:,['A','B']]

df.loc[:,'A':'C']

df.loc[0,'A']

df.loc[0:10,['A','C']]

通过位置获取：

df.iloc[3]

df.iloc[3,3]

df.iloc[0:3,4:6]

df.iloc[1:5,:]

df.iloc[[1,2,4],[0,3]]

通过布尔值过滤：

df[df['A']>0]

df[df['A'].isin([1,3,5])]

df[df<0] = 0

DataFrame数据对齐与缺失数据

DataFrame处理缺失数据的相关方法：

dropna(axis=0,where='any',…)

fillna()

isnull()

notnull()

pandas常用方法(适用Series和DataFrame)：

mean(axis=0,skipna=False)

sum(axis=1)

sort_index(axis, …, ascending)按行或列索引排序

sort_values(by, axis, ascending)按值排序

NumPy的通用函数同样适用于pandas

apply(func, axis=0)将自定义函数应用在各行或者各列上 ，func可返回标量或者Series

applymap(func)将函数应用在DataFrame各个元素上

map(func)将函数应用在Series各个元素上