当前位置:   article > 正文

#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装_数据爬取编译环境

数据爬取编译环境

鄙人作为一个Android开发者,经常想私下做一些小项目,需要一些后台的配合,自己的项目用servlet和sql语句也能凑合,但缺少后台数据就比较难办了(假数据看起来很违和,而且没有实际意义);听闻python可以做网络爬虫爬取数据,于是趁着这段时间开发任务不重,通过python实现了爬取网站数据的功能。

Python简介:

请自行百度...

Python安装:

1.先去官网下载python,根据自己的需要选择对应的版本:网址

2.解压下载下来的压缩包,然后根据提示进行安装。

3.设置环境变量,与java等环境变量类型,如图:

4.做完这些之后,python就算配置完成了,可以在控制行检测一下是否安装成功:

到此python就算配置成功了。

python编译工具:

python可以直接在命令行中进行编译,但是作为jetbrains的粉丝,当然不能错过jetbrains发布的python编译工作---PyCharm啦!

至此python的基本编译环境已经配置完成了,接下来需要导入一些编写爬虫程序的库了。

BeautifulSoup

在我看来,所谓爬虫就是将html抓取下来,然后分析其页面上的数据,python自带了html解析器--html parser,个人感觉用起来比较繁琐,因此推荐大家使用BeautifulSoup,功能比较强大,而且使用起来也比较方便。python安装第三方库还是比较方便的,有两种安装方式:

1.可以直接在命令行输入:pip install beautifulsoup4(python 2.0+用户)或者pip3 install beautifulsoup4(python 3.0+用户),之后等待安装完成即可。


2.去官网下载安装包,在命令行中先定位到安装包作为文件夹,执行python setup.py install即可

xlwt

xlwt是一款导出Excel表格的第三方python库,安装它是为了将获得的数据导出,方便查看,安装方法与上面类似。

好了,准备工作就都做好了,接下来,就该上代码了!


Python参考资料:

Python 基础教程 (看原文文档当然是最好,不过这个也不错,可以当字典使用)

玩蛇网(顾名思义)


声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/木道寻08/article/detail/939811
推荐阅读
相关标签
  

闽ICP备14008679号