赞
踩
在爬取数据之前首先使用:pip install requests 命令
下载:requests包提示下载完成后执行下列代码:
- import requests
-
- base_url ="http://list.iqiyi.com/www/1/-------------11-1-1-iqiyi--.html"#此处为你所要爬取数据的网址
-
- header = {'user-agent': 'Mozilla/5.0'}#此处为伪装成浏览器
- res = requests.get(base_url, headers=header)#发送请求并返回包含相应的html文件内容的长字符串
- # print(res.text)
- print(res.apparent_encoding)#打印字符串的编码格式
- # res.encoding = "GB2312"#如果编码格式不是‘utf-8’则应显示的指明对应的编码格式
- # print(res.text)
- with open("data1.txt", 'w', encoding='utf-8') as f:#将读取到的内容打印在相应的.txt文件中
- f.write(res.text)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。