人工智能 -- python3 爬虫：如何爬取js动态加载的网页数据？ ---- 下载PhantomJS软件、安装slenium包_python 处理 动态加载网页

人工智能 – python3 爬虫：如何爬取js动态加载的网页数据？ ---- 下载PhantomJS软件、安装slenium包

背景

有时候python爬虫，抓取网页数据不全，是因为没抓到那部分是js动态加载的。

• PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。下载好了放在一个目录里。
• 而要想在python3调用这个软件，要有API接口啊，即下载一个包selenium。

1. 下载PhantomJS

官网（速度慢）：https://phantomjs.org/download.html
淘宝镜像（推荐）：https://cdn.npm.taobao.org/dist/phantomjs/phantomjs-2.1.1-windows.zip

解压后看出来这是一个二进制可直接执行软件，故放到C:\Python\目录下，点C:\Python\phantomjs-2.1.1-windows\bin\phantomjs.exe即安装成功。
测试：
双击phantomjs.exe打开phantomjs命令行窗口后，输入1+2，结果3，说明phantomjs正常。如下：

2. 安装selenium包

pip install selenium -i https://mirrors.aliyun.com/pypi/simple