TOP 3大开源Python数据分析工具！_python数据分析开发工具

1、Python Pandas

我们讨论的第一个工具是Python Pandas。正如它的网站所述，Pandas是一个开源的Python数据分析库。它最初由AQR Capital Management于2008年4月开发，并于2009年底开源，目前由专注于Python数据包开发的PyData开发团队继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。

首先，启动IPython并对示例数据进行一些操作。(因为pandas是python的第三方库所以使用前需要安装一下，直接使用pip install pandas 就会自动安装pandas以及相关组件)

import pandas as pd  

headers = ["datetime", "source", "type", "log"]  

df = pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers) 
1
2
3
4
5

大约一秒后，我们会收到如下回复：

[6844 rows x 4 columns]  

In [3]: 
1
2
3

如上所见，我们有大约7000行数据，它从中找到了四个与上述模式匹配的列。

Pandas自动创建了一个表示CSV文件的DataFrame对象，Pandas中的DataFrame数据既可以存储在SQL数据库中，也可以直接存储在CSV文件中。接下来我们使用head()函数导入数据样本。

In [11]: df.head() 



Out[11]: 



datetime source type log 



2018-08-01 17:10 www2 www_access 172.68.133.49 - - [01/Aug/2018:17:10:15 +0000]...  

2018-08-01 17:10 www2 www_access 162.158.255.185 - - [01/Aug/2018:17:10:15 +000...  

2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000...  

2018-08-01 17:10 www2 www_access 172.68.47.211 - - [01/Aug/2018:17:10:50 +0000]... 

2018-08-01 17:11 www2 www_access 141.101.96.28 - - [01/Aug/2018:17:11:11 +0000]... 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

使用Python Pandas可以做很多事情， 数据科学家通常将Python Pandas与IPython一起使用，以交互方式分析大量数据集，并从该数据中获取有意义的商业智能。

2、PySpark

我们讨论的第二个工具是PySpark，该工具来自Apache Spark项目的大数据分析库。

PySpark提供了许多用于在Python中分析大数据的功能，它自带shell，用户可以从命令行运行。

$ pyspark 
1

这会加载pyspark shell：

(python-big-data)[email protected]:~/Development/access-log-data$ pyspark Python 3.6.5 (default, Apr 1 2018, 05:46:30) [GCC 7.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. 2018-08-03 18:13:38 WARN Utils:66 - Your hostname, admintome resolves to a loopback address: 127.0.1.1; using 192.168.1.153 instead (on interface enp0s3) 2018-08-03 18:13:38 WARN Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address 2018-08-03 18:13:39 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.3.1 /_/ Using Python version 3.6.5 (default, Apr 1 2018 05:46:30) SparkSession available as 'spark'. >>> 
1

当你启动shell时，你会得到一个Web GUI查看你的工作状态，只需浏览到http：// localhost：4040即可获得PySpark Web GUI。

让我们使用PySpark Shell加载示例数据：

dataframe = spark.read.format("csv").option("header","false").option("mode","DROPMALFORMED").option("quote","'").load("access_logs.csv")  

dataframe.show() 
1
2
3

PySpark提供了已创建的DataFrame示例：

>>> dataframe2.show()  

+----------------+----+----------+--------------------+  

| _c0| _c1| _c2| _c3|  

+----------------+----+----------+--------------------+  

|2018-08-01 17:10|www2|www_access|172.68.133.49 - -...|  

|2018-08-01 17:10|www2|www_access|162.158.255.185 -...|  

|2018-08-01 17:10|www2|www_access|108.162.238.234 -...|  

|2018-08-01 17:10|www2|www_access|172.68.47.211 - -...|  

|2018-08-01 17:11|www2|www_access|141.101.96.28 - -...|  

|2018-08-01 17:11|www2|www_access|141.101.96.28 - -...|  

|2018-08-01 17:11|www2|www_access|162.158.50.89 - -...|  

|2018-08-01 17:12|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:12|www2|www_access|172.68.47.151 - -...|  

|2018-08-01 17:12|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:12|www2|www_access|141.101.76.83 - -...|  

|2018-08-01 17:14|www2|www_access|172.68.218.41 - -...|  

|2018-08-01 17:14|www2|www_access|172.68.218.47 - -...|  

|2018-08-01 17:14|www2|www_access|172.69.70.72 - - ...|  

|2018-08-01 17:15|www2|www_access|172.68.63.24 - - ...|  

|2018-08-01 17:18|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:18|www2|www_access|141.101.99.138 - ...|  

|2018-08-01 17:19|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:19|www2|www_access|162.158.89.74 - -...|  

|2018-08-01 17:19|www2|www_access|172.68.54.35 - - ...|  

+----------------+----+----------+--------------------+ 

only showing top 20 rows 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

我们再次看到DataFrame中有四列与我们的模式匹配，DataFrame此处可以被视为数据库表或Excel电子表格。

3、Python SciKit-Learn

任何关于大数据的讨论都会引发关于机器学习的讨论，幸运的是，Python开发人员有很多选择来使用机器学习算法。

在没有详细介绍机器学习的情况下，我们需要获得一些执行机器学习的数据，我在本文中提供的示例数据不能正常工作，因为它不是数字类型的数据。我们需要操纵数据并将其呈现为数字格式，这超出了本文的范围，例如，我们可以按时间映射日志以获得具有两列的DataFrame：一分钟内的日志数和当前时间：

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！