当前位置:   article > 正文

基于python的大数据分析与应用环境的搭建

基于python的大数据分析与应用环境的搭建

一、主要目的:

初步熟悉Python数据分析工具,通过查阅相关说明文档掌握Numpy、Scipy和Pandas包的基本使用方法。对于不同形式的源数据文件,能够基于python开发环境正确的完成数据导入。

二、主要内容:

1、Python开发环境安装以及数据分析包的加载

(1)Anaconda安装过程

(2)相关第三方库的加载 如 爬虫scrapy包。

提示:

① Anaconda下载地址:

Free Download | Anaconda

② Anaconda安装参考:

https://blog.csdn.net/weixin_37766087/article/details/100742198

2、通过简要的实例代码熟悉开发环境以及数据分析包的基本功能

(1)代码实例展示Spyder的基本功能

例如:代码提示、变量浏览、图形查看

  1. 代码实例展示Pandas 中的数据结构

① Series:一维数组系列,也称序列

② DataFrame:二维表格型数据结构。可以将DataFrame理解为Series的容器。

  1. 数据的导入与导出
  1. 导入不同形式的文件,例如.txt/.csv/.excel
  2. 导出到csv/excel
  3. 导入导出MySql库[附选]

三、实验过程:

1.Anaconda安装过程

已安装

2.Spyder

① Series:一维数组系列,也称序列

DataFrame:二维表格型数据结构。

导入不同形式的文件,例如.txt/.csv/.excel
导入excle
  1. df = pd.read_excel(io='自己的文件路径',index_col='序号')  
  2. print(df)  

导出到csv/excel

Excel:

  1. writer = pd.ExcelWriter('age-name.xlsx')  
  2. df.to_excel(writer)  
  3. writer.save()  

CSV:

  1. csv_data = df.to_csv("自己的文件路径",sep='|')  

导入导出MySql库[附选]
  1. 从mysql中导出dataframe对象
  1. conn = pymysql.connect(host="localhost",port=3306,user="root",  
  2.  password="密码已经被和谐",database="school",charset="utf8")  
  3. sql = "select * from student;"  
  4. df = pd.read_sql(sql,conn)  
  5. print(df) 
  6. 导入dataframe数据到mysql
  • from sqlalchemy import create_engine  
  • engine = create_engine("mysql+pymysql://root:密码已被和谐@localhost:3306/school?charset=utf8")  
  • data = [['小明',14],['东东',18],['奥图码',53]]  
  • df = pd.DataFrame(data,columns=['姓名','年龄'])  
  • df.to_sql("try", engine, schema="try")  

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/728654
推荐阅读
相关标签
  

闽ICP备14008679号