Python与Pyspark统计分析

全量统计分析

对于数据分析、数据挖掘、人工智能等领域，现在Python占据了领头军，但是随着大数据的到来，现在很多新科技型、网路型、传统型等互联网模式，都陆陆续续使用了Spark或Flink的步伐，为解决大数据疑难问题，求贤若渴。以下，我将会体现部分区别及语法使用。

Python 统计分析

1、统计分析

import numpy as np
import pandas as pd
sizes=(8,5)
df=pd.DataFrame(np.random.randint(0,20,size=sizes),columns=["col_{}".format(i) for i in range(sizes[1])])  # 随机产生一个df
arr=[[9,1,5,2,19],
    [18,9,19,19,14],
    [7,12,2,1,10],
    [1,8,12,5,3],
    [9,6,3,4,13],
    [9,0,11,5,9],
    [12,16,11,3,19],
    [2,1,4,3,1]]
dfs=pd.DataFrame(arr,columns=["col_{}".format(i) for i in range(sizes[1])])
1
2
3
4
5
6
7
8
9
10
11
12
13

结果如下图所示：

1.1 dfs.describe()

res=df.describe()  # 对df做出统计分析【"count","mean","std","min","max","25%","50%","75%"】
print(res)
1
2

结果如下图所示：

1.2 对全部维度进行值得统计

mode_counts=df.value_counts()  # 对整体数据出现次数做出统计
print(mode_counts)
1
2

结果如下图所示：

1.3 对每个index中的值进行统计出现的次数

mode_dict={
   }
for col in df.columns:
    res=list(dfs[col].value_counts().items())
    mode_dict.update({
   col:res})
print(mode_dict)
# 结果如下
{
   
    'col_0': [(9, 3), (7, 1), (2, 1), (12, 1), 
1
2
3
4
5
6
7
8
9
10