2023/9/17 基于pycharm的爬取豆瓣电影250（一）_如何用pycharm找电影

2023/9/17 网络爬虫+数据可视化研究

最近用一周的时间进行学习网络爬虫+数据可视化分析，因此特地记录所学知识，并向外输出以此加深自己的印象。

1.网络爬虫

本质： 网络爬虫通过向对方服务器发送请求，从而得到响应，进而分析所获取网页的内容。
因此，我们需要做三个方面的内容：分别是抓取网页、提取内容、保存内容。这样我们一个基本的爬虫框架就完成了。剩下的就是完成这三部分内容：

1.0. 准备操作：

软件：python
包：bs4（用于解析HTML和XML文档）、re（处理正则表达式)、urllib（用于处理 URL）
其中网页抓取的最难之处在于正则表达式的书写，它是你能否正确获取信息的关键。

from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
import sqlite3
1
2
3
4
5

1.1. 抓取网页

我们以 豆瓣电影TOP250为例，定义一个getdata(baseurl)函数，其中baseurl为我们需要发起请求的链接地址。

def askurl(url):
  head = {  # 模拟头部信息，向豆瓣服务器发送消息
    "User-Agent":
      """Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 116.0.0.0Safari / 537.36"""
  }  # 这是一个用户代理，告诉浏览器我们是什么类型的机器，浏览器可以接受什么水平的文件
  request = urllib.request.Request(url=url, headers=head)
  html = ""
  try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    # print(html)
  except urllib.error.URLError as e:
    if hasattr(e, 'code'):
      print(e.code)
    if hasattr(e, 'reason'):
      print(e.reason)
  return html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

此处需要讲解的是头部信息，头部信息的作用就是模拟正常浏览器向服务器进行请求信息。那么头部信息又是如何模拟浏览器的信息从而骗过服务器。
对你想请求的网页按F12，你可以看到如下信息：

我们使用的User-Agent就是从这里获得。

1.2.获取数据

def getdata(baseurl):
  datalist = []
  # 2.解析数据
  for i in range(0, 10):
    url = baseurl + str(i * 25)
    html = askurl(url)#我们定义的一个请求网址的函数，此函数的定义是模拟浏览器向豆瓣网进行请求内容，防止网站认为我们是电脑。
    soup = BeautifulSoup(html, 'html.parser')  # 对网页进行解析
    for item in soup.find_all('div', {'class': 'item'}):#利用函数寻找所有在标签div下的名为item的类。
      # print(type(item))
      data = []  # 利用列表保存一部电影的所有信息
      item = str(item)
      link = re.findall(findlink, item)[0]  # 获取到影片详情链接
      # print(link)
      data.append(link)
      imgsrc = re.findall(findimage, item)[0]  # 获取到影片图片的链接
      data.append(imgsrc)
      titles = re.findall(findtitle, item)  # 获取到影片的片名
      if (len(titles) == 2):
        ctitle = titles[0]
        data.append(ctitle)
        otitle = titles[1].replace("/", "")#将外文标题中的/替换为空格。
        data.append(otitle)
      else:
        data.append(titles[0])
        data.append(' ')
      rating = re.findall(findrating, item)[0]  # 获取到影片评分
      data.append(rating)
      judge = re.findall(findjudge, item)[0]  # 获取到评价人数
      data.append(judge)
      inq = re.findall(findinq, item)  # 获取到概况
      if len(inq) != 0:
        inq = inq[0].replace("。", "")
        data.append(inq)
      else:
        data.append(' ')
      bd = re.findall(findbd, item)[0]  # 获取到影片的相关内容
      bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  #去掉<br/>
      bd = re.sub('/', " ", bd)  # 替换/
      data.append(bd.strip())  # 去掉前后的空格
      datalist.append(data)  # 把处理好的一部电影信息放入datalist
  # import pprint
  # pprint.pprint(datalist)
  return datalist
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

1.2.保存数据

保存数据我们这里住哟啊讲解2种方式：

1.2.1 保存为Excel格式

def savedata(savepath, datalist):
  book = xlwt.Workbook(encoding='utf-8', style_compression=0)
  sheet = book.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)
  col = ('电影个数', '电影详情链接', '图片链接', '影片中文名', '影片外国名', '评分', '评价数', '概况', '相关信息')
  for i in range(0, 8):
    sheet.write(0, i, col[i])
  for i in range(0, 25):
    # print('第%d条'%i)
    sheet.write(i + 1, 0, "第%d条" % (i + 1))
    data = datalist[i]
    for j in range(0, 8):
      sheet.write(i + 1, j + 1, data[j])
  book.save(savepath)  # 保存数据表
1
2
3
4
5
6
7
8
9
10
11
12
13

1.2.2 数据库格式

首先要初始化数据库，生成一个数据库。

def init_db(dbpath):  # 数据库初始化
  sql = '''
  create table movie250
  (
  id integer primary key autoincrement, 
  info_link text,
  pic_link text,
  cname varchar,
  ename varchar,
  score numeric,
  instroductionn text,
  info text
  )
  '''
  conn = sqlite3.connect(dbpath)
  cursor = conn.cursor()
  cursor.execute(sql)
  conn.commit()
  conn.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

随后在数据库中添加我们爬取到的信息

def savedatadb(datalist, dbpath):
  init_db(dbpath)#初始化数据库
  conn= sqlite3.connect(dbpath)#链接数据库
  cur=conn.cursor()#得到数据库的游标，所有的信息都在游标上
  for data in datalist:
    for index in range(len(data)):
      if index==4 or index==5:
        continue
      data[index]='"'+data[index]+'"' #转化为字符
    sql='''
      insert into movie250(info_link,pic_link,cname,ename,score,instroductionn,info)
      values(%s)'''%",".join(data)
    # print(sql)
    cur.execute(sql)
    conn.commit()
  cur.close()#关闭游标
  conn.close()#关闭数据库
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

2.特别篇-正则表达式

要是想要能够正确的取出网页中的内容，那我们必须要将正则表达式能够熟练运用。

因此在这个程序中，我们所获取的内容的正则表示式如下:
为了让大家能够更好地理解正则表达式，我将网页中的内容与这里的正则表示进行一一对应。

#找到电影的链接
findlink = re.compile(r'<a href="(.*?)">')
1
2

# 得到影片图片的链接
findimage = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S让换行符包含在字符中
1
2

# 得到影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')
1
2

# 影片评分
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
1
2

# 评价人数
findjudge = re.compile(r'<span>(\d*)人评价</span>')
1
2

# 找到概况
findinq = re.compile(r'<span class="inq">(.*)</span>')
1
2

# 找到影片的相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)
1
2

这样我们的一个爬虫工作就算完成了。剩下的就是多练。

3. 完整代码–

from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
import sqlite3


def main():
  # 1.爬取网页
  baseurl = 'https://movie.douban.com/top250?start=0'
  datalist = getdata(baseurl)
  savepath = '豆瓣电影top250.xls'
  dbpath = 'move.db'
  savedatadb(datalist, dbpath)
  # savedata(savepath, datalist)
  # 3. 保存数据
  # savedata(savepath,datalist)
  # askurl("https://movie.douban.com/top250")


findlink = re.compile(r'<a href="(.*?)">')
# 得到影片图片的链接
findimage = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S让换行符包含在字符中
# 得到影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findjudge = re.compile(r'<span>(\d*)人评价</span>')
# 找到概况
findinq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片的相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)


def getdata(baseurl):
  datalist = []
  # 2.解析数据
  for i in range(0, 1):
    url = baseurl + str(i * 25)
    html = askurl(url)
    soup = BeautifulSoup(html, 'html.parser')  # 对网页进行解析
    for item in soup.find_all('div', {'class': 'item'}):
      # print(type(item))
      data = []  # 利用列表保存一部电影的所有信息
      item = str(item)
      link = re.findall(findlink, item)[0]  # 获取到影片详情链接
      # print(link)
      data.append(link)
      imgsrc = re.findall(findimage, item)[0]  # 获取到影片图片的链接
      data.append(imgsrc)
      titles = re.findall(findtitle, item)  # 获取到影片的片名
      if (len(titles) == 2):
        ctitle = titles[0]
        data.append(ctitle)
        otitle = titles[1].replace("/", "")
        data.append(otitle)
      else:
        data.append(titles[0])
        data.append(' ')
      rating = re.findall(findrating, item)[0]  # 获取到影片评分
      data.append(rating)
      judge = re.findall(findjudge, item)[0]  # 获取到评价人数
      data.append(judge)
      inq = re.findall(findinq, item)  # 获取到概况
      if len(inq) != 0:
        inq = inq[0].replace("。", "")
        data.append(inq)
      else:
        data.append(' ')
      bd = re.findall(findbd, item)[0]  # 获取到影片的相关内容
      bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  # 去掉<br/>
      bd = re.sub('/', " ", bd)  # 替换/
      data.append(bd.strip())  # 去掉前后的空格
      datalist.append(data)  # 把处理好的一部电影信息放入datalist
  # import pprint
  # pprint.pprint(datalist)
  return datalist


# 得到指定网页的指定内容
def askurl(url):
  # global html
  head = {  # 模拟头部信息，向豆瓣服务器发送消息
    "User-Agent":
      """Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 116.0.0.0Safari / 537.36"""
  }  # 这是一个用户代理，告诉浏览器我们是什么类型的机器，浏览器可以接受什么水平的文件
  request = urllib.request.Request(url=url, headers=head)
  html=''
  try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    # print(html)
  except urllib.error.URLError as e:
    if hasattr(e, 'code'):
      print(e.code)
    if hasattr(e, 'reason'):
      print(e.reason)
  return html


def savedata(savepath, datalist):
  book = xlwt.Workbook(encoding='utf-8', style_compression=0)
  sheet = book.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)
  col = ('电影详情链接', '图片链接', '影片中文名', '影片外国名', '评分', '评价数', '概况', '相关信息')
  for i in range(0, 8):
    sheet.write(0, i, col[i])
  for i in range(0, 25):
    # print('第%d条'%i)
    data = datalist[i]
    for j in range(0, 8):
      sheet.write(i + 1, j, data[j])
  book.save(savepath)  # 保存数据表


def savedatadb(datalist, dbpath):
  init_db(dbpath)  # 初始化数据库
  conn = sqlite3.connect(dbpath)
  cur = conn.cursor()
  for data in datalist:
    for index in range(len(data)):
      if index == 4 or index == 5:
        continue
      data[index] = '"' + data[index] + '"'
    sql = '''
      insert into movie250 (
      info_link,pic_link,cname,ename,score,rated,instroduction,info)
      values(%s)''' % ",".join(data)
    # print(sql)
    cur.execute(sql)
    conn.commit()
  cur.close()  # 关闭游标
  conn.close()  # 关闭数据库


def init_db(dbpath):  # 数据库初始化
  sql = '''
  create table movie250
  (
  id integer primary key autoincrement, 
  info_link text,
  pic_link text,
  cname varchar,
  ename varchar,
  score numeric,
  rated numeric,
  instroduction text,
  info text
  )
  '''
  conn = sqlite3.connect(dbpath)
  cursor = conn.cursor()
  cursor.execute(sql)
  conn.commit()
  conn.close()


# 主函数

main()
# init_db("movie_test.db")
# print("建立数据库完毕")




1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166