Python程序设计期末作品完整版|代码和程序设计文档_python期末大作业报告及代码

python程序设计作品，希望对您有帮助，希望您的一键三连！

程序设计报告

1.爬取数据的意义
富豪榜的出现，体现了人们思想的变化:由保守藏富向正向面对财富的转变;由保守向文明开放(–说明了大众媒体的进步与教育的普及等思想工具的极大地提高);标志着人们对财富对经济正在走向新纪元。
2.程序详细设计
(1)设计思路流程图：

(2)设计代码实现：
①导入相关数据库

②获取网页的url，并模拟向网页放出请求，并获取响应。按f12进入控制台获取页面的代码，使用正则提取进行具体代码块的寻找，并把对应的代码放入到集合中，方便下面存储时候使用数据。

③创建一个新的工作表，命名相关的属性，并将上述集合中的数据导入其中

④运行检验已经可以生成盛放信息的excel表格，下一步实现数据筛选和可视化处理

⑤创建函数，对富豪前十名和富豪所在国家进行数据统计，然后分别画出饼状图和条形图

⑥通过条形图和饼状图实现数据的客观的可视化

表 1饼状图

表 2 条形图

3.报告总结
企业财富的增长，源于国家经济的发展。可以相信，中国福布斯上榜人数很快就会超过美国，随着中美两国经济规模差距缩小，中美富豪榜财富总额差距也会逐步缩小，直至逆转.中美之间的博弈将会长期存在，但中国超越美国成为世界第一大经济体的趋势不可阻挡，中国只不过是时隔100多年重新回到她原来的位置；我们个人的财富命运与国运（国家发展）是息息相关的，没有一个人能够超脱于国家大的发展背景而能超然存在。未来十年中国财富增长的方式主要通过资本市场体现，投资中国会成为主旋律，期待“富豪为广大的股民打工”早日到来。

代码

from bs4 import BeautifulSoup
import requests
import xlwt
import xlrd
import pandas as ps
import numpy
import matplotlib.pyplot as plt

## 读取所有福布斯排行榜数据
def loadalldata():
   alldata = []
   for i in range(1,16,1):
      url = "https://www.phb123.com/renwu/fuhao/shishi_"+str(i)+".html"
      data = loaddata(url)
      alldata = alldata + data
   return alldata
## 将爬取的数据保存到文件
def savedata(path,persionlist):
   workbook = xlwt.Workbook()
   worksheet = workbook.add_sheet('test')
   worksheet.write(0, 0, '排名')
   worksheet.write(0, 1, '姓名')
   worksheet.write(0, 2, '财富')
   worksheet.write(0, 3, '企业')
   worksheet.write(0, 4, '国家')
   for i in range(1,len(persionlist)+1,1):
      worksheet.write(i, 0, persionlist[i-1]['num'])
      worksheet.write(i, 1, persionlist[i-1]['name'])
      worksheet.write(i, 2, persionlist[i-1]['money'])
      worksheet.write(i, 3, persionlist[i-1]['company'])
      worksheet.write(i, 4, persionlist[i-1]['country'])
   workbook.save(path)
   print("数据保存成功："+path)

## 读取网站数据
def loaddata(url):
   headers = {
       'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) '
                    'Chrome/72.0.3626.121 Safari/537.36'
   }
   f = requests.get(url,headers=headers)   #Get该网页从而获取该html内容
   soup = BeautifulSoup(f.content, "lxml")  #用lxml解析器解析该网页的内容, 好像f.text也是返回的html
   # print(f.content.decode())        #尝试打印出网页内容,看是否获取成功
   ranktable = soup.find_all('table',class_="rank-table" )[0]   #获取排行榜表格
   trlist = ranktable.find_all('tr') #获取表格中所有tr标签
   trlist.pop(0) #去掉第一个元素
   persionlist = []
   for tr in trlist:
      persion = {}
      persion['num'] = tr.find_all('td')[0].string  #编号
      persion['name'] = tr.find_all('td')[1].p.string #名称
      persion['money'] = tr.find_all('td')[2].string #财产
      persion['company'] = tr.find_all('td')[3].string #企业
      persion['country'] = tr.find_all('td')[4].a.string #国家
      persionlist.append(persion)
   print("页面"+url+"爬取成功")
   return persionlist


## 取出排行榜前十的姓名和财富数据 以两个list返回
def loadtop10(path):
    book = xlrd.open_workbook(path)
    sheet1 = book.sheets()[0]
    namelist = sheet1.col_values(1)
    moneylist = sheet1.col_values(2)
    namelist = namelist[1:11]
    moneylist = moneylist[1:11]

    moneylist2 = []
    for a in moneylist:
        a = int(a[0:-3])
        moneylist2.append(a)
    print("取出排行榜前十的姓名和财富数据")
    print(namelist)
    print(moneylist2)
    return namelist,moneylist2

## 统计排行榜中每个国家的上榜人数 以字典list返回
def countcountrynum(path):
   book = xlrd.open_workbook(path)
   sheet1 = book.sheets()[0]
   countrylist = sheet1.col_values(4)[1:-1]
   print(countrylist)
   countryset = list(set(countrylist))
   dictlist = []
   for country in countryset:
      obj = {"name":country,"count":0}
      dictlist.append(obj)
   ## 统计出每个国家对应的数量
   for obj in dictlist:
      for a in countrylist:
         if obj['name'] == a:
            obj['count'] = obj['count'] + 1
   print(dictlist)
   ## 将dictlist排序 数量多的放前面 8 5 6 9 3 2 4
   for i in range(0,len(dictlist),1):
      for j in range(0,len(dictlist)-i-1,1):
          if dictlist[j]['count'] < dictlist[j+1]['count']:
             temp = dictlist[j]
             dictlist[j] = dictlist[j+1]
             dictlist[j+1] = temp
   dictlist2 = dictlist[0:5]
   set2 = []
   for a in dictlist2:
      set2.append(a['name'])
   othercount = 0;
   for a in dictlist:
      if a['name'] not in set2:
         othercount = othercount + 1
   dictlist2.append({"name":"其他","count":othercount})
   print('获取排行榜中每个国家的上榜人数')
   print(dictlist2)
   return dictlist2

## 绘制条形图和饼状图
def drow():
   plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置中文字体
   plt.figure('福布斯前十榜',figsize=(15,5))

   ## 读取福布斯排行榜前十的数据
   listx,listy = loadtop10('rank.xls')
   plt.title('福布斯前十榜', fontsize=16)
   plt.xlabel('人物', fontsize=14)
   plt.ylabel('金额/亿美元', fontsize=14)
   plt.tick_params(labelsize=10)
   plt.grid(linestyle=':', axis='y')
   a = plt.bar(listx, listy, color='dodgerblue', label='Apple', align='center')
   # 设置标签
   for i in a:
      h = i.get_height()
      plt.text(i.get_x() + i.get_width() / 2, h, '%d' % int(h), ha='center', va='bottom')
   ## -------------------------------------------------------------------------
   dictlist = countcountrynum("fuhao.xls")
   plt.figure('各国家上榜人数所占比例')
   labels = []
   sizes = []
   for a in dictlist:
      labels.append(a['name'])
      sizes.append(a['count'])
   explode = (0.1, 0, 0, 0, 0, 0)
   plt.pie(sizes, explode=explode, labels=labels, autopct='%1.1f%%', shadow=False, startangle=150)
   plt.title("各国家上榜人数所占比例", fontsize=16)
   plt.axis('equal')  # 该行代码使饼图长宽相等

   plt.show()

if __name__ == '__main__':

   ## 爬取数据
   data = loadalldata()
   ## 保存数据
   savedata("fuhao.xls",data)    # py文件同级目录创建rank.xls文件
   ## 展示数据
   drow()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156