Python如何进行大数据分析？_python大数据分析

大家应该都用Python进行过数据分析吧，Pandas简直就是数据处理的第一利器。但是不知道大家有没有试过百万级以上的数据，这时候再用Pandas处理就是相当的慢了。

那么对于大数据来说，应该用什么处理呢？

在公司的日常工作中，其实会使用Spark来进行大数据分析偏多。企业数据的分析始于读取、过滤和合并来自多个数据源的文件和数据流[1]。

Spark数据处理引擎是这方面的佼佼者，可处理各种量级的数据，其传输速度比Hadoop系统快100倍。得益于SQL的支持、直观的界面和简单的多语言API，你可轻松使用Spark，而不必学习复杂的新型生态系统。

对于Python爱好者来说PySpark则更为熟悉，我们可以通过调用Python API的方式来编写Spark程序，它支持了大多数的Spark功能，比如SparkDataFrame、Spark SQL、Streaming、MLlib等等。

关于PySpark与GraphFrames的安装与使用可以查看这篇博客：

https://xxmdmst.blog.csdn.net/article/details/123009617

下面我们通过一个小案例，来看看如果用PySpark求解问题[2]。

PySpark求解连通图问题

刘备和关羽有关系，说明他们是一个社区，刘备和张飞也有关系，那么刘备、关羽、张飞归为一个社区，以此类推。

对于这个连通图问题使用Pyspark如何解决呢？

首先，我们创建spark对象：

from pyspark.sql import SparkSession, Rowfrom graphframes import GraphFramespark = SparkSession \    .builder \    .appName("PySpark") \    .master("local[*]") \    .getOrCreate()sc = spark.sparkContext# 设置检查点目录sc.setCheckpointDir("checkpoint")
1

然后构建数据：

data = [    ['刘备', '关羽'],    ['刘备', '张飞'],    ['张飞', '诸葛亮'],    ['曹操', '司马懿'],    ['司马懿', '张辽'],    ['曹操', '曹丕']]data = spark.createDataFrame(data, ["人员", "相关人员"])data.show()
1

输出结果：

+------+--------+|  人员|相关人员|+------+--------+|  刘备|    关羽||  刘备|    张飞||  张飞|  诸葛亮||  曹操|  司马懿||司马懿|    张辽||  曹操|    曹丕|+------+--------+
1

很明显原始数据就是图计算所要求的边数据，只修改一下列名即可：

edges = data.toDF("src", "dst")edges.printSchema()
1

输出结果：

root |-- src: string (nullable = true) |-- dst: string (nullable = true)
1

下面我们开始构建顶点数据：

vertices = (    edges.rdd.flatMap(lambda x: x)            .distinct()            .map(lambda x: Row(x))            .toDF(["id"]))vertices.show()
1

输出结果：

+------+|    id|+------+|诸葛亮||  刘备||  曹操||司马懿||  曹丕||  关羽||  张飞||  张辽|+------+
1

下面使用spark的图计算 计算连通图：

g = GraphFrame(vertices, edges)result = g.connectedComponents().orderBy("component")result.show()
1

输出结果：

+------+------------+|    id|   component|+------+------------+|司马懿|           0||  张辽|           0||  曹丕|           0||  曹操|           0||  关羽|635655159808||  刘备|635655159808||  张飞|635655159808||诸葛亮|635655159808|+------+------------+
1

可以看到结果中已经顺利将一个社区的成员通过一个相同的component标识出来，成功解决需求。

作为数据从业者，工作越来越离不开Spark，而无论你使用Python、Scala或Java编程语言，实际上都可以调用Spark实现大数据分析的高效操作。

-END-

---

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、自动化测试带你从零基础系统性的学好Python！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/686233