python爬虫--爬取维基百科（六步理论深度爬取）_py 抓取百科百科

分析维基百科页面中指向词条页面（不是指向其他内容页面）的链接，会发现它们都有三个共同点：
• 它们都在id 是bodyContent 的div 标签里
• URL 链接不包含分号
• URL 链接都以/wiki/ 开头

使用下面代码来获取词条链接

#-*- coding:utf-8 -*-
import urllib2
from bs4 import BeautifulSoup
import re
url = "http://en.wikipedia.org/wiki/Kevin_Bacon"
html = urllib2.urlopen(url)
bsObj = BeautifulSoup(html,'html.parser')
'''
#正确写法
for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")):
    if 'href' in link.attrs:
        print(link.attrs['href'])
'''

file = open("wiki.txt","w")
for link in bsObj.find_all('div',id = "bodyContent").find_all('a',href = "^(/wiki/)((?!;)\S)*$"):
    file.write(link.attrs['href']+"\n")
    print link.attrs['href']

file.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

报错：

因为find_all函数返回的是一个列表，列表没有.find_all操作

经分析，只有一个div的id为bodyContent，所以正确代码如下

#-*- coding:utf-8 -*-
import urllib2
from bs4 import BeautifulSoup
import re
url = "http://en.wikipedia.org/wiki/Kevin_Bacon"
html = urllib2.urlopen(url)
bsObj = BeautifulSoup(html,'html.parser')
'''
for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")):
    if 'href' in link.attrs:
        print(link.attrs['href'])
'''

file = open("wiki.txt","w")
for link in bsObj.find('div',id = "bodyContent").find_all('a',href = re.compile("^(/wiki/)((?!;)\S)*$")):
    file.write(link.attrs['href']+"\n")
    print link.attrs['href']

file.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

---

写程序来找出这个静态的维基百科词条里所有的词条链接很有趣，不过没什么实际
用处。我们需要让这段程序更像下面的形式。
• 一个函数getLinks，可以用维基百科词条/wiki/< 词条名称> 形式的URL 链接作为参数，
然后以同样的形式返回一个列表，里面包含所有的词条URL 链接。
• 一个主函数，以某个起始词条为参数调用getLinks，再从返回的URL 列表里随机选择
一个词条链接，再调用getLinks，直到我们主动停止，或者在新的页面上没有词条链接
了，程序才停止运行。
完整的代码如下所示：

#-*- coding:utf-8 -*-
import urllib2
from bs4 import BeautifulSoup
import re
import random
import datetime

random.seed(datetime.datetime.now())

def getLink(url):
    html = urllib2.urlopen("http://en.wikipedia.org"+url)
    bsObj = BeautifulSoup(html, 'html.parser')
    return bsObj.find('div', id="bodyContent").find_all('a', href=re.compile("^(/wiki/)((?!;)\S)*$"))

url = "/wiki/Kevin_Bacon"
file = open("wiki.txt", "w")
links = getLink(url)
while len(links)>0:
    newArticle = links[random.randint(0,len(links)-1)].attrs['href']
    file.write(newArticle + "\n")
    print newArticle
    links = getLink(newArticle)
file.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

导入需要的Python 库之后，程序首先做的是用系统当前时间生成一个随机数生成器。这样可以保证在每次程序运行的时候，维基百科词条的选择都是一个全新的随机路径。