当前位置:   article > 正文

如何使用python爬取数据_python爬虫爬取表格无行列号

python爬虫爬取表格无行列号

在爬取数据之前首先使用:pip install requests 命令

下载:requests包提示下载完成后执行下列代码:

 

  1. import requests
  2. base_url ="http://list.iqiyi.com/www/1/-------------11-1-1-iqiyi--.html"#此处为你所要爬取数据的网址
  3. header = {'user-agent': 'Mozilla/5.0'}#此处为伪装成浏览器
  4. res = requests.get(base_url, headers=header)#发送请求并返回包含相应的html文件内容的长字符串
  5. # print(res.text)
  6. print(res.apparent_encoding)#打印字符串的编码格式
  7. # res.encoding = "GB2312"#如果编码格式不是‘utf-8’则应显示的指明对应的编码格式
  8. # print(res.text)
  9. with open("data1.txt", 'w', encoding='utf-8') as f:#将读取到的内容打印在相应的.txt文件中
  10. f.write(res.text)

 

本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号