Python数据分析入门笔记2——pandas数据读取_pandas读取数据

系列文章目录

---

Python数据分析入门笔记1——学习前的准备

---

前言

快速入门pandas，认识pandas三大结构Series、DataFrame和Panel中的前两种，知道读取文件，并且按行或者按列有选择性地查找数据。

---

一、用pandas读取文件

pandas可以读取CSV和TXT文件中的数据，可以获取Excel、JSON、HTML、Word和PDF文件中的数据，也可以从数据库中获取数据。这里只列出常用的CSV和TXT文件、Excel文件的读取方法。

1. 从CSV和TXT文件中读取数据

csv是一种逗号分隔的文件格式，但其分隔符不一定是逗号。可用记事本或excel打开。
csv文件使用read_csv()函数来读取。
最简单的举例：

import pandas as pd
#注意：如果文件中包含中文，必须加上encoding
data = pd.read_csv('d://分省份GDP数据.csv', encoding='gbk')
print(data.columns)#返回所有的列名对象，相当于字典的键名，默认把第0行作为列名
print(data.values)#返回所有的行
1
2
3
4
5

read_csv()函数语法格式如下，参数说明如下表所示。

pandas.read_csv(filepath_or_buffer, sep=‘,’, header=‘infer’, names=None, index_col=None, dtype=None, engine=None,nrows=None,encoding=None)

尚待解决的问题：

• sequence多重索引有何作用，如何创建多重索引，如何体现为多重索引？
• read_table()函数何时使用？如何使用？
• dtype有何作用？

2.从Excel文件中读取数据

Pandas提供了read_excel()函数来读取“xls”和“xlsx”两种Excel文件。
最简单的举例：

import pandas as pd
#注意read_excel方法中没有encoding参数
df=pd.read_excel("D://Projects/2019年底江苏省A级景区名录.xlsx",sheet_name=0,index_col=0)
print(df.columns)#返回所有的列名对象，相当于字典的键名，默认把第0行作为列名
print(df.values)#返回所有的行
1
2
3
4
5

read_excel()函数语法格式如下，参数说明如下表所示。

pandas.read_excel( filepath, sheetname=0, header=0, names=None, index_col=None, dtype=None ,nrows=None)

二、用pandas解析数据

1.pandas三大结构介绍

• Series（系列）
  • 一维数组，与NumPy中的一维array类似。
  • Series可以保存不同数据类型，如字符串、boolean值、数字等。如果传入的数据类型不统一，最终的dtype通常是object。
• DataFrame（数据帧）
  • 二维的表格型数据结构，可以将DataFrame理解为Series的容器。（类似Excel的工作表吗？）DataFrame的单列数据为一个Series。
• Panel（面板）
  • 三维的数组，可以理解为DataFrame的容器。（类似Excel的工作簿吗？）
  • 内置了十几种数据源读取函数和对应的数据写入函数。

2.DataFrame的常用属性和方法（Series类似不表）

DataFrame是最常用的Pandas对象，类似于Office Excel表格。完成数据读取后，数据就以DataFrame数据结构存储在内存中。但此时并不能直接开始统计分析工作，需要使用DataFrame的属性与方法对数据的分布、大小等进行操作。
假设有一个DataFrame名为df，且数据如下：

（1）假设我读取的时候，不指定行索引，参考代码如下：

import pandas as pd	#导入pandas库
df=pd.read_csv("D://Projects/示例.csv",encoding="gbk")	#以中文编码形式读取D盘Projects文件夹下的“示例.csv”文件

1
2
3

则属性与方法说明如下：

（2）假设我读取的时候设置了行索引，参考代码如下：

import pandas as pd	#导入pandas库
#index_col=0，代表将数据的第一列“学号”作为行索引，也就是根据学号可以唯一地找到这一行。
#但设置行索引以后，再用values、size输出会得到不一样的结果。为什么？
df=pd.read_csv("D://Projects/示例.csv",encoding="gbk",index_col=0)
1
2
3
4

• DataFrame中的数据切片，如前十个数据，后十个数据，第十到第二十行数据都如何表达？
• 行索引值设置以后，为什么索引就不算做数据列了？

3.DataFrame中的条件查找——布尔索引

#使用布尔索引获取部分数据行,df['年龄']>df['年龄'].mean()的意思是年龄值大于平均值
df[df['年龄']>df['年龄'].mean()]
1
2

执行结果：

4.DataFrame的修改（暂时不需要，先忽略）

1. 修改列名、行索引名
2. 列的添加append、删除drop和插入insert

5.DataFrame的分组和聚合

按某一列来分组：groupby(‘用来分组的列名’)
按多列来分组：groupby([‘列名1’,‘列名2’,‘列名3’])

df.groupby('性别')#按性别分组
df.groups	#查看分组，输出结果{'女': ['S3'], '男': ['S1', 'S2', 'S4']}
df.groupby(['性别','年龄']) #按性别和年龄组合来分组，性别和年龄都相同的才会分到同一组
df.groups	#查看分组，输出结果{('女', 15): ['S3'], ('男', 14): ['S4'], ('男', 15): ['S1'], ('男', 16): ['S2']}
1
2
3
4

三、小测验（答案放到下一篇博客末尾）

有如下excel文档“2019年底江苏省A级景区名录.xlsx”，完成以下任务：
文档下载地址：2019年底江苏省A级景区名录.xlsx

1. 用pandas的read_excel()方法读取这个文件，并将第一列序号作为行索引，并输出文件内容

2. 用columns获取列索引，即输出表头

3. 统计各市入选的景点个数，输出结果如图：

4. 按所在地市进行分组，分别统计4A、3A、2A景区的数量，部分输出结果如图所示：
   

5. 按景区等级分组，分别统计各等级中各地市的分布情况。部分输出结果如图：
   

6. 欢迎补充其他应用场景！

---

总结

1. pandas读取csv和excel文件
2. 通过DataFrame查看数据，多种查看方式