赞
踩
过程分析
(1).首先在谷歌浏览器中提取头
在右下角的地方复制headers用作requests.get()里面的参数
(2).利用selector()可以直接得到标签的结构所属关系,此处在谷歌浏览器对 清华大学 名称进行检查,copy selector
具体步骤:
1.右击查看源代码
2.找到要提取的信息的标签,右击,选中检查
3.在右边的框里面右击选中copy selector
4.粘贴出来查看结果
selector的结果为
body > table > tbody > tr:nth-child(184) > td.line-content
此处可以清晰的看清楚要提取的信息的 所在位置 和 所属关系:
要提取的信息’清华大学’为td里面的内容,而td标签为tr标签的一个子标签。
(3)再结合网页的源代码整体的分析可以得知要
1.找到tbody,找tr,找td,要提取的信息刚好是第一个,第二个,第三个td
2.故使用 下行遍历 for循环soup.find().children
3.而为何不使用soup.findall()呢?因为再tbody外面也是有tr标签的
from bs4 import BeautifulSoup import requests import bs4 def get_html(url): '''获取网页的html源代码的文本字符串''' try: kv = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'} # 设立头,提高爬取成功率 r = requests.get(url, headers=kv, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def write_data(mylist, html): '''解析其源代码,并提取出信息,注意信息展现形式是表格形式,所以数据结构用二维列表''' soup = BeautifulSoup(html, "html.parser") '''此处为何不可用findall()函数呢,因为tr在tbody之外也存在 而要提取的信息是tbody里面的tr里面的td''' for tr in soup.find('tbody').children: # find, .children只会返回一个,是迭代类型,要循环遍历 if isinstance(tr, bs4.element.Tag): # 检查其是否为bs4.element,.Tag类型,因为tr可能为\n等操作符他们也会被提取出来 tds = tr('td') # list = t('a')即返回一个bs4.element.ResultSet对象,网上说bs4.element.ResultSet对象是 # bs4.element.Tag对象的一个链表,实际上,list = t('a')这种模式就是返回一个以'a'标签为元素的列表 t = [tds[0].string, tds[1].string, tds[2].string] # 为什么是.string,因为要提取的信息在 > 里面 <,是非属性字符串类型 mylist.append(t) def get_file(mylist, num): '''将结果写入文件''' for i in range(num): u = mylist[i] with open('D:/test.txt', 'a') as datas: # 以追加模式写入文本文件 print(u, file=datas) if __name__ == '__main__': # 直接相当于一个main函数,同using namespace std? url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html' html = get_html(url) ilist = [] write_data(ilist, html) get_file(ilist, 20)
热爱生活,热爱编程
文件的结果
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。