赞
踩
鄙人作为一个Android开发者,经常想私下做一些小项目,需要一些后台的配合,自己的项目用servlet和sql语句也能凑合,但缺少后台数据就比较难办了(假数据看起来很违和,而且没有实际意义);听闻python可以做网络爬虫爬取数据,于是趁着这段时间开发任务不重,通过python实现了爬取网站数据的功能。
Python简介:
请自行百度...
Python安装:
1.先去官网下载python,根据自己的需要选择对应的版本:网址
2.解压下载下来的压缩包,然后根据提示进行安装。
3.设置环境变量,与java等环境变量类型,如图:
4.做完这些之后,python就算配置完成了,可以在控制行检测一下是否安装成功:
到此python就算配置成功了。
python编译工具:
python可以直接在命令行中进行编译,但是作为jetbrains的粉丝,当然不能错过jetbrains发布的python编译工作---PyCharm啦!
至此python的基本编译环境已经配置完成了,接下来需要导入一些编写爬虫程序的库了。
BeautifulSoup
在我看来,所谓爬虫就是将html抓取下来,然后分析其页面上的数据,python自带了html解析器--html parser,个人感觉用起来比较繁琐,因此推荐大家使用BeautifulSoup,功能比较强大,而且使用起来也比较方便。python安装第三方库还是比较方便的,有两种安装方式:
1.可以直接在命令行输入:pip install beautifulsoup4(python 2.0+用户)或者pip3 install beautifulsoup4(python 3.0+用户),之后等待安装完成即可。
2.去官网下载安装包,在命令行中先定位到安装包作为文件夹,执行python setup.py install即可
xlwt
xlwt是一款导出Excel表格的第三方python库,安装它是为了将获得的数据导出,方便查看,安装方法与上面类似。
好了,准备工作就都做好了,接下来,就该上代码了!
Python参考资料:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。