爬虫——需求：获取豆瓣电影中动态加载出更多电影详情数据_爬取需求 3 对应页面中滚动条向下拉动 2000 像素后加载出所有电影详情数据,存储到

# 需求：获取豆瓣电影中动态加载出更多电影详情数据
# 思路：喜剧排行榜，ajax请求，20条，页面滚动加载
# 
# 浏览器打开网址--模拟浏览器滚动--怎么滚动页面？执行js代码。怎么抓取？不用重新发请求
from selenium import webdriver as wd
from time import sleep

bro = wd.PhantomJS(executable_path='./phantomjs-2.1.1-windows/bin/phantomjs')
bro.get('https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=')
# 浏览器滚动到底部
js='window.scrollTo(0,document.body.scrollHeight)'

# 如何让浏览器对象执行js代码
bro.execute_script(js)

sleep(5)
bro.save_screenshot('./5.png')

# 获取加载数据后的页面: page_source获取浏览器当前数据
page_text = bro.page_source

# 解析数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22