赞
踩
欢迎订阅公众号 数据分析那些事儿
0 前言
给定一个网页的表格,怎么将网页表格中的数据爬取下来呢?
以 最好大学网 为例,怎样定向爬取网页中大学的排名呢?
1 HTML网页元素结构
可以点开网站,查看源代码,大学排名是一个表格,网页元素结构如下:
row 1, cell 1 |
row 1, cell 2 |
row 1, cell 3 |
row 2, cell 1 |
row 2, cell 2 |
row 2, cell 3 |
复制代码
而我们要获取的就是表格种每行row x, cell x的内容。
2 BeautifulSoup库介绍
BeautifulSoup库通俗来说是解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库。
得到一个BeautifulSoup对象后,一般通过BeautifulSoup类的基本元素来提取html中的内容。
基本元素
说明
Tag
标签,最基本的信息组织单元,分别用<>和>标明开头和结尾
Name
标签的名字,如
...
,用.name来获取Attributes
标签的
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。