当前位置:   article > 正文

python入门爬虫实例(含代码)_爬虫python入门代码

爬虫python入门代码

准备工作

(1)导入requeste库,需要下载

(2)获取url

(3)查找User-Agent(请求载体的身份标识符),把它当成headers,避免反爬

(4)把获取到的的数据存储起来

  1. import requests
  2. if __name__ == "__main__":
  3. url = "https://www.sogou.com/web"
  4. headers = {
  5. "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.3161 SLBChan/105"
  6. } #从网页中获取,避免识别到是爬虫
  7. kw = input("目标")
  8. param = {
  9. "query": kw #控制搜索内容
  10. }
  11. #requeste.get()拿response接收
  12. response = requests.get(url=url, params=param, headers=headers)
  13. r = response.text
  14. fileName = kw+".html"
  15. # encoding="utf-8"避免乱码
  16. with open(fileName, 'w', encoding="utf-8") as fp:
  17. fp.write(r)
  18. print(fileName, "保存成功")

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号