当前位置:   article > 正文

python爬取不到数据的可能原因之一_python爬虫find_all没找到数据

python爬虫find_all没找到数据

自学Python爬虫,感觉自己的代码没有什么问题,但是输出却没有结果,一开始陷入了沉思,偶然想起,很多网站为了反爬虫,对于没有“头”的爬虫,网站会拒绝请求。于是,抱着试一试的态度,添加了爬虫的“头”,结果能够正常显示。

这里我是在尝试抓取“瞬眼天下”网页的小标题,代码如下:

  1. #爬取顺眼天下网页一页的标题
  2. import requests
  3. from bs4 import BeautifulSoup
  4. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
  5. resp=requests.get('http://www.tmtpost.com/nictation/1',headers=headers)
  6. soup=BeautifulSoup(resp.text,'lxml')
  7. alla=soup.find_all('h2',class_='w_tit')
  8. for a in alla:
  9. t=a.find('a')
  10. print(t.get_text())

我一开始的代码是这样的:

  1. #爬取瞬眼天下网页一页的标题
  2. import requests
  3. from bs4 import BeautifulSoup
  4. resp=requests.get('http://www.tmtpost.com/nictation/1')
  5. soup=BeautifulSoup(resp.text,'lxml')
  6. alla=soup.find_all('h2',class_='w_tit')
  7. for a in alla:
  8. t=a.find('a')
  9. print(t.get_text())

即,缺少了headers的相关信息

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/226541
推荐阅读
相关标签
  

闽ICP备14008679号