pandas使用汇总--转载可以希望注明来源谢谢_pandas 一列的set flatten

1、pandas简洁
    高性能数据分析工具，帮助处理除了数值之外包括字符串，时间序列等在内的数据

2、pandas基本数据类型
    1、Series 一维，带标签数组
        1、创建series
            1、指定索引
                pd.Series(np.arange(10), index=list(string.ascii_uppercase[:10]))

                index=*** 指定索引，这里的是list类型的大写字母前10作为索引

            2、通过字典创建一个series，其中字典的键就是series的索引
                a = {}
                pd.Serirs(a)

        2、Series的切片和索引
            1、Series的索引
                1、数字索引
                    t = pd.Serirs(a)
                    t[1]  # 取第一个数据
                    t[[2, 3, 6, 9]]  # 取第2、3、6、9个数据
                    t[t>4]  # 取索引大于4的所有值

                2、键值索引
                    t['F']  # 取键值为F的值
                    t[['A', 'D', 'S']]  取键值为A、D、S的值

            2、Series的索引
                t[2:10:2]  # 从第3开始依次加2，不包括11

            3、取出索引和值
                t = pd.Serirs(a)
                t.index  # index属性取出键值
                t.value  # 取出所有的值values

    2、DataFrame 二维，Series容器
        1、pd.DataFrame(a, index=index, columns=columns)
            DataFrame对象既有行索引，又有列索引
            行索引，表明不同行，横向索引，叫index，0轴，axis=0
            列索引，表名不同列，纵向索引，叫columns，1轴，axis=1
            [ex]:
                a = np.arange(12).reshape((3, 4))
                index = ['张飞', '关羽', '刘备']
                columns = ['曹操', '于禁', '张颌', '徐晃']
                a = pd.DataFrame(a, index=index, columns=columns)

        2、基础属性
            DataFrame的基础属性
                df.shape # 行数列数
                df.dtypes # 列数据类型
                df.ndim # 数据维度
                df.index # 行索引
                df.columns # 列索引
                df.values # 对象值，二维ndarray数组

            DataFrame整体情况查询
                df.head(3) # 显示头部几行，默认5行
                df.tail(3) # 显示末尾几行，默认5行
                df.info() # 相关信息概览：行数，列数，列索引，列非空值个数，列类型，列类型，内存占用
                df.describe() # 咐速综合统计结果：计数，均值，标准差，最大值，四分位数，最小值

        3、排序方法
                df.sort_values(by="Count_AnimalName",ascending=False)

            对于 df 的dataframe数据结构按照Count_AnimalName索引进行排序

                df = df.sort_values(by="Count_AnimalName",ascending=False)
                a = df.head(10)
            按照这种方式取出 df 的按照Count_AnimalName索引排序后前10位的数据元素

        4、dataframe数据引用、索引和切片
            1、按照索引名Count_AnimalName排序后，取前100的数据
                df_sorted = df.sort_values(by="Count_AnimalName")
                df_sorted[:100]

            2、取某一列数据
                df["Count_AnimalName"]

            3、取前100行数据中Count_AnimalName列的数据
                df[:100]["Count_AnimalName"]

                [说明]：一般行没有名称，列有名称，如果有行名称的话可仿照取列数据的方式取用数据

        5、优化后的提取数据函数
            1、df.loc 通过标签索引行数据
                --df.loc['a', 'W']  # 取出 'a' 行，'W' 列的数据
                --df.loc['a', ['W','Y', 'Z']]  # 取出 'a'行，'W','Y', 'Z'列数据
                --df.loc['a', :]  # 取出 'a' 行数据
                --df.loc[:, ['W','Y', 'Z']]  # 取出 'W','Y', 'Z' 列数据

                --df.loc['a':'c', ['W','Y', 'Z']]  # 取出 'a'到'c' 行，'W','Y', 'Z' 列数据
                这里 'a'到'c' 行切片是闭合的，意思是取的到'c'行，和正常的切片不同

            2、df.iloc 通过位置获取行数据
                --df.iloc[1:3, [2, 3]]  # 取出1到3行中，2、3两列的数据
                --df.iloc[1:3, 4:7]  # 取出1到3行中，4到7列的数据

        6、pandas中nan不需要使用astype转化数据类型，因为函数自动会帮忙转化，在numpy中需要手动转化

        7、布尔索引
            df.[df['Count_AnimalName']>800]  # 选择df中'Count_AnimalName'索引下值大于800的值

            df.[(df['Count_AnimalName']>800)&(df['Row_labels'].str.len()<100)]

        8、pandas之字符串操作方法
            cat     实现元素級的字符串连接操作，可指定分隔符 
            contains    返回表示各字符串是否含有指定模式的布尔型数组
            count    模式的出现次数
            endswith, startswith    相当于对各个元素执行 x.endswith(pattern)和x.startswith(pattern)
            findall    计算各字符串的模式列表
            get    获取各元素的第i个字符
            join    根据指定的分隔符将Series中各元素的字符串连接起来
            len    计算各字符串的长度
            lower, upper    转换大小写,相当于对各个元素执行x.lower()或x.upper()
            match    根据指定的正则表达式对各个元素执行re.match
            pad    在字符串的左边、右边或左右两边添加空白符
            center    相当于 pad(side='both')
            repeat    重复值。例如，s.str.repeat⑶相当于对各个字符串执行X*3
            replace    用指定字符串替换找到的模式
            slice    对Series中的各个字符串进行子串截取
            split    根据分隔符或正则表达式对字符串进行拆分
            strip  rstrip  lstrip    去除空白符，包括换行符。相当于对各个元素执行x.strip()、x.rstrip()、x.lstrip()

        9、缺失数据处理
            1、numpy中处理nan: 先检查出nan，在替换为均值或者中值

            2、pandas中处理nan: (numpy中nan不能进行计算，pandas中可以进行计算)
                1、判断是否为nan
                    判断数据是否为NaN：pd.isnull(df),pd.notnull(df)

                2、处理nan数据
                    处理方式1：删除NaN所在的行列dropna(axis=0, how='any', inplace=False)
                        axis: 为0表示按照行  |  为1表示按照列
                        how参数：any表示只要有一个nan就删除(默认是any)  |  all表示全部为nan才进行删除
                        inplace参数：

                    处理方式2：填充数据，
                        t.fillna(t.mean())  --填充均值
                        t.fiallna(t.median())  --填充中值
                        t.fillna(0)  --填充一个数字：0

                    填充可以单独对某一列(或者是行)进行操作，因为不是每一列的nan都是数字，都可以填充，也不是每一列都可以求均值的
                    像电话号码、家庭住址等数据的缺失，nan不能使用均值等进行填充
                        t['age'] = t['age'].fillna(t['age'].mean())   # 对t数据的'age'列进行nan处理，填充进'age'这一列数据的均值

            3、对于数据中的0处理
                如果数据中的0非常确定是填充数据，补缺口使用的，可以是用
                    t[t==0] = np.nan   # 进行替换
                例如：家庭住址中有个0，电话号码有个0这样的可以换为nan  |  像点击数等不需要，因为不确定

                0和nan最大的区别就是：0参与运算，但是nan不参与运算

3、读取外部数据
    1、读取csv文件
        pd.read_csv('../numpy/csv/dogNames2.csv')

    2、读取mysql数据库文件
        pd.read_sql(sql_sentence,connection)

    3、读取mongodb数据库

4、pandas中常见统计数据
    1、如果希望输出结果不再折叠可以使用
        使用pd.set_option(pat, value)的模式可以设置各种样式

            pd.set_option('display.max_columns', 1000)   # 设置最大输出列为1000
            pd.set_option('display.max_rows', 500)   # 设置最大输出行为500

            pd.set_option('display.height', 1000)   # 设置输出窗口高度为1000
            pd.set_option('display.width', 1000)   # 设置输出窗口宽度为1000

        至于行数据不需要设置，因为输出太多本来就是符合实际要求，而列数据有利于我们观察数据类型，便于我们方便作出进一步分析因此有必要设置
        有的时候一行包含太多列，不能再一行中完全输出一列展示在console中，会使用\进行连接console中属于一列的两行数据 

    2、不重复统计
        1、set函数：相当于建立一个集合不允许重复，就是有重复也只算一个，很好地用于某些统计中
            len(set(df.['列名'].tolist()))
        2、df.unique():使用unique函数也可以达到set不重复统计的目的
            len(df.['列名'.unique()])

    3、把二维数组拉平成一维数组
        1、列表推导式
                num_acs = data['Actors'].str.split(', ').tolist()
                actors = [i for j in num_acs for i in j]
                print(len(set(actors)))
            这里是用列表推导式循环取出data中'Actors'这一列，切分字符串后形成的二维数组中的数据
            pandas中data['Actors']只是一个Series，而不是string所以不能直接调用split()，必须转换

        2、使用flatten函数
                必须先使用np.array(num_acs)转为numpy.ndarray(即使num_acs已经为list类型)

                【注意事项：但不是每次都能完全拉平和维度有关系】

5、数据的合并
    1、join函数
        A.join(B)   # 按照行进行合并

        合并时按照A的行作为依据，如果A的行大于B，B中缺失行填充NAN
                               如果A的行小于B，B中多余的行被截断不计入

    2、merge函数
        df1 和 df3两个data数据块，df1含有a、b、c、d四列，df3含有f、a、x三列  

        1、merge函数默认为inner，取交集
            df1.merge(df3, on='a')  
            取df1和df3中，按照某一列'a'进行拼接，且只拼接df1和df3有公共值的那一行    

        2、连接方式(和数据库中的连接很像)
            默认的合并方式inner，交集
            merge outer，并集，NaN补全
                df1.merge(df3, on='a', how='outer')   # 以两者为准，对于彼此都不具有的补充为NAN

            merge left，左边为准，NaN补全
                df1.merge(df3, on='a', how='left')   # 以左边为准，a这一列的df1有则都显示，df1没有则不显示

            merge right，右边为准，NaN补全
                df1.merge(df3, on='a', how='right')   # 以右边为准，a这一列的df3有则都显示，df3没有则不显示

        3、除了使用 表1.merge(表2, on='a', how='right')形式外
            pd.merge(表1, 表2, on=['表2待合并列名', '表2待合并列名'], how='合并方式')

6、分组和聚合
    1、使用grouped = df.groupby(by='索引名称')，返回对象是DataFrameGroupBy对象，是可迭代的
        grouped中的每一个元素是一个元组， 元组里面是（索引(分组的值)，分组之后的DataFrame）
        1、按照一个索引进行分组
            group_by = data.groupby(by='Country')

        2、按照多个索引进行分组
                group_by = data['Brand'].groupby(by=[data['Country'], data['State/Province']]).count()
            如果是对一列数据(Series类型)进行分组，需要使用by=[data['Country'], data['State/Province']]这种写法，将分割条件单独分开

                df.groupby(by=["Country","State/Province"])["Country"].count()
            如果是对多列数据(DataFrame类型，而不是)进行分组，直接可以写by=["Country","State/Province"]
        
        3、对2中结果进行改进，让data['Brand']返回结果是DataFrame类型，而不是Series类型
                data['Brand']中[['Brand']]加上一个[]即可，相当于告诉ide我使用的是多个查询，但只传入一个条件，[['Brand']]位置可以放置在多个位置
                [ex]:
                    --group_by = data[['Brand']].groupby(by=[data['Country'], data['State/Province']]).count()

                    --group_by = data.groupby(by=[data['Country'], data['State/Province']])[['Brand']].count()

                    --group_by = data.groupby(by=[data['Country'], data['State/Province']]).count()[['Brand']]

    2、grouped(DataFrameGroupBy对象)能够调用的一般对象方法
        count        分组中非NA值的数量
        sum            非NA值的和
        mean        非NA值的平均值
        median        非NA值的算术中位数
        std, var    无偏（分母为n-1）标准差和方差
        min、max        非NA值的最小值和最大值

7、索引和复合索引
    1、简单的索引操作：
        --获取index：           df.index
        --指定index ：          df.index = ['x','y']

        --重新设置index :       df.reindex(list("abcedf"))

        --指定某一列作为index ： df.set_index("Country",drop=False)
            设置为：drop=False，表示将"Country"这一列设置为索引后不删除该列，默认是删除的(为True)

        --返回index的唯一值：    df.set_index("Country").index.unique()
            这个方法说明：设置一列作为索引后，会出现索引重复的情况，这里就是只取不重复索引的情况

        a为一个DataFrame,那么当a.set_index(["c","d"])即设置两个索引，即一个DataFrame结构中拿出两列作为索引是可以的

8、pandas时间序列
    1、时间序列生成
        pd.date_range(start=None, end=None, periods=None, freq='D')

            --start和end以及freq配合能够生成start和end范围内以频率freq的一组时间索引

            --start和periods以及freq配合能够生成从start开始的频率为freq的periods个时间索引

        [ex]:
            pd.date_range(start='20130112', end='20130212', freq='10D')
        每隔10天生成一次日期：DatetimeIndex(['2013-01-12', '2013-01-22', '2013-02-01', '2013-02-11'], dtype='datetime64[ns]', freq='10D')，这里10D不仅可以设置为D，还可以加上数字

            pd.date_range(start='20130112', periods=5,  freq='10D')
        每隔10天，起始日期为：20130112，一共生成5个

            按年对数据进行聚合，计算方式依然为求和。
        按年对数据进行聚合，计算方式依然为求和。

            loandata['loan_amnt'].resample('M',how=sum).fillna(0)
        将贷款金额字段按月聚合后求和，并用0填充空值。

            loandata[['loan_amnt','total_rec_int']].resample('M',how=[len,sum])
        分别对'loan_amnt'和'total_rec_int'按月聚合，并进行求和和计数计算

            loandata['2016-01':'2016-05'].resample('M',how=sum).fillna(0)
        对2016年1月至5月的数据按月进行了聚合，并计算求和。用0填充空值。

            loandata[loandata['loan_amnt']>5000].resample('M',how=sum).fillna(0)
        对于贷款金额大于5000的按月进行聚合，并计算求和。空值以0进行填充。

    2、日期形式
        W       星期
        
        D        Day                        每日历日
        B        BusinessDay                每工作曰
        H        Hour                    每小时
        T或min    Minute                    每分
        S        Second                    每秒
        L或ms    Milli                    每毫秒（即每千分之一秒）
        U        Micro                    每微秒（即每百万分之一秒）

        A       每年
        Q       按季度的最后一天切割，相当于每季度，可仿照下面有 BQ QS BQS等
        M        MonthEnd                每月最后一个日历曰，相当于每月
        BM        BusinessMonthEnd        每月最后一个工作日
        MS        MonthBegin                每月第一个日历日
        BMS        BusinessMonthBegin        每月第一个工作曰

    3、生成一个以日期为索引的dataframe
        index=pd.date_range("20170101",periods=10)
        df = pd.DataFrame(np.random.rand(10),index=index)

        1、生成一个索引从20170101开始，一共十个日期，以此为索引建立dataframe数据块

    4、使用函数将  含有日期的字符串  转换为  时间序列
        回到最开始的911数据的案例中，我们可以使用pandas提供的方法把时间字符串转化为时间序列：
            --df["timeStamp"] = pd.to_datetime(df["timeStamp"],format="")

            --format参数大部分情况下可以不用写，但是对于pandas无法格式化的时间字符串，我们可以使用该参数，比如包含中文

    5、重采样
        重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，

            --将高频率数据转化为低频率数据为降采样，

            --低频率转化为高频率为升采样

        pandas提供了一个resample的方法来帮助我们实现频率转化
            [ex]:
                count_by_month = data.resample("M").count()['title']
                resample中参数就是日期形式

        真的不行了或者很难找到原因，可以使用 dir(变量名) 的方式打开其所能够调用的所有方法和属性，通过分析可以试着进行处理变量

    6、rolling()函数及其系列
        1、DataFrame.rolling(window, min_periods=None, freq=None, center=False, win_type=None, on=None, axis=0, closed=None)
            --window：表示时间窗的大小，注意有两种形式（int or offset）。如果使用int，则数值表示计算统计量的观测值的数量即向前几个数据。
                    如果是offset类型，表示时间窗的大小。pandas offset相关可以参考这里。

            --min_periods：最少需要有值的观测点的数量，对于int类型，默认与window相等。对于offset类型，默认为1。

            --freq：从0.18版本中已经被舍弃。

            --center：是否使用window的中间值作为label，默认为false。只能在window是int时使用。

            --win_type：窗口类型，默认为None一般不特殊指定，了解支持的其他窗口类型，参考这里。

            --on：对于DataFrame如果不使用index（索引）作为rolling的列，那么用on来指定使用哪列。

            --closed：定义区间的开闭，曾经支持int类型的window，新版本已经不支持了。对于offset类型默认是左开右闭的即默认为right。
                      可以根据情况指定为left both等。

            --axis：方向（轴），一般都是0。

        2、rolling_count 计算各个窗口中非NA观测值的数量
            pandas.rolling_count(arg, window, freq=None, center=False, how=None)
                --arg : DataFrame 或 numpy的ndarray 数组格式 
                --window : 指移动窗口的大小，为整数 
                --freq : 
                --center : 布尔型，默认为False, 指取中间的 
                --how : 字符串，默认为“mean”,为down- 或re-sampling

        3、rolling_sum 移动窗口的和
            pandas.rolling_sum(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs)
                --arg : 为Series或DataFrame 
                --window : 窗口的大小 
                --min_periods : 最小的观察数值个数 
                --freq : 
                --center : 布尔型，默认为False, 指取中间的 
                --how : 取值的方式，默认为None

        4、以下为移动窗口系列汇总
            rolling_mean 移动窗口的均值
                pandas.rolling_mean(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs)
        
            rolling_median 移动窗口的中位数
                pandas.rolling_median(arg, window, min_periods=None, freq=None, center=False, how='median', **kwargs)

            rolling_var 移动窗口的方差
                pandas.rolling_var(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs)

            rolling_std 移动窗口的标准差
                pandas.rolling_std(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs)

            rolling_min 移动窗口的最小值
                pandas.rolling_min(arg, window, min_periods=None, freq=None, center=False, how='min', **kwargs)

            rolling_max 移动窗口的最大值
                pandas.rolling_min(arg, window, min_periods=None, freq=None, center=False, how='min', **kwargs)

            rolling_corr 移动窗口的相关系数
                pandas.rolling_corr(arg1, arg2=None, window=None, min_periods=None, freq=None, center=False, pairwise=None, how=None)

            rolling_corr_pairwise 配对数据的相关系数，等价于: rolling_corr(…, pairwise=True)
                pandas.rolling_corr_pairwise(df1, df2=None, window=None, min_periods=None, freq=None, center=False)

            rolling_cov 移动窗口的协方差
                pandas.rolling_cov(arg1, arg2=None, window=None, min_periods=None, freq=None, center=False, pairwise=None, how=None, ddof=1)

            rolling_skew 移动窗口的偏度（三阶矩）
                pandas.rolling_skew(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs)

            rolling_kurt 移动窗口的峰度（四阶矩）
                pandas.rolling_kurt(arg, window, min_periods=None, freq=None, center=False, how=None, **kwargs)

            rolling_apply 对移动窗口应用普通数组函数
                pandas.rolling_apply(arg, window, func, min_periods=None, freq=None, center=False, args=(), kwargs={})

            rolling_quantile 移动窗口分位数函数
                pandas.rolling_quantile(arg, window, quantile, min_periods=None, freq=None, center=False)

            rolling_window 移动窗口
                pandas.rolling_window(arg, window=None, win_type=None, min_periods=None, freq=None, center=False, mean=True, axis=0, how=None, 
                **kwargs)

            ewma 指数加权移动
                ewma(arg[, com, span, halflife, ...])

            ewmstd 指数加权移动标准差
                ewmstd(arg[, com, span, halflife, ...])

            ewmvar 指数加权移动方差
                ewmvar(arg[, com, span, halflife, ...])

            ewmcorr 指数加权移动相关系数
                ewmcorr(arg1[, arg2, com, span, halflife, ...])

            ewmcov 指数加权移动协方差
                ewmcov(arg1[, arg2, com, span, halflife, ...])