赞
踩
requests模块作用:模拟浏览器发送请求。
使用:(requests模块的编码流程)
-导包 import requests
-指定url
-发起请求(get,post)
-获取响应的数据(页面)
-持久化存储(存储响应数据)
案例:爬取搜狗首页的页面数据:
#爬取搜狗首页 import requests url = "http://www.sogou.com" #step2:发起请求 response=requests.get(url=url) #step3:获取响应数据 .text返回字符串类型的响应数据 page_text = response.text print(page_text) #step4:持久化存储 with open('./sogou.html','w',encoding='utf-8') as fp: fp.write(page_text) print("爬取数据结束")
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。