2024年Python最全Python数据分析 之 制作酷炫的可视化大屏，特简单(1)，2024年最新面试被打

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

comment_num = 0

the_type = get_type(title)

df.loc[count] = [a_url, title, issuing_time, int(read_num), int(comment_num), the_type]

count += 1

time.sleep(random.choice([1, 1.1, 1.3]))

return df

if name == ‘main’:

今天的时间

today = dt.datetime.today().strftime(“%Y-%m-%d”)

连接mysql数据库

engine = create_engine(‘mysql+pymysql://root:123456@localhost/my_database?charset=utf8’)

获取大屏第一列信息数据, 并写入my_database数据库的info表中, 如若表已存在, 删除覆盖

df_info = get_info()

print(df_info)

df_info.to_sql(“info”, con=engine, if_exists=‘replace’, index=False)

获取大屏第二、三列信息数据, 并写入my_database数据库的日期表中, 如若表已存在, 删除覆盖

df_article = get_blog()

print(df_article)

df_article.to_sql(today, con=engine, if_exists=‘replace’, index=True)

运行成功后，就可以去数据库查询信息了。

info表，包含日期、头图、博客名、文章数、粉丝数、点赞数、评论数、等级数、访问数、积分数、排名数。

日期表，包含文章地址、标题、日期、阅读数、评论数、类型。

其中爬虫代码可设置定时运行，info表为60秒，日期表为60分钟。

尽量不要太频繁，容易被封IP，或者选择使用代理池。

这样便可以做到数据实时更新。

既然数据已经有了，下面就可以来编写页面了。

02. 大屏搭建

导入相关的Python库，同样可以通过pip进行安装。

from spider_py import get_info, get_blog

from dash import dcc

import dash

from dash import html

import pandas as pd

import plotly.graph_objs as go

from dash.dependencies import Input, Output

import datetime as dt

from sqlalchemy import create_engine

from flask_caching import Cache

import numpy as np

设置一些基本的配置参数，如数据库连接、网页样式、Dash实例、图表颜色。

今天的时间

today = dt.datetime.today().strftime(“%Y-%m-%d”)

连接数据库

engine = create_engine(‘mysql+pymysql://root:123456@localhost/my_database?charset=utf8’)

导入css样式

external_css = [

“https://stackpath.bootstrapcdn.com/bootstrap/4.1.3/css/bootstrap.min.css”,

“https://cdnjs.cloudflare.com/ajax/libs/skeleton/2.0.4/skeleton.min.css”

]

创建一个实例

app = dash.Dash(name, external_stylesheets=external_css)

server = app.server

可以选择使用缓存, 减少频繁的数据请求

cache = Cache(app.server, config={

‘CACHE_TYPE’: ‘filesystem’,

‘CACHE_DIR’: ‘cache-directory’

})

读取info表的数据

info = pd.read_sql(‘info’, con=engine)

图表颜色

color_scale = [‘#2c0772’, ‘#3d208e’, ‘#8D7DFF’, ‘#CDCCFF’, ‘#C7FFFB’, ‘#ff2c6d’, ‘#564b43’, ‘#161d33’]

这里将缓存代码注释掉了，如有频繁的页面刷新请求，就可以选择使用。

def indicator(text, id_value):

“”“第一列的文字及数字信息显示”“”

return html.Div([

html.P(text, className=“twelve columns indicator_text”),

html.P(id=id_value, className=“indicator_value”),

], className=“col indicator”)

def get_news_table(data):

“”“获取文章列表, 根据阅读排序”“”

df = data.copy()

df.sort_values(‘read_num’, inplace=True, ascending=False)

titles = df[‘title’].tolist()

urls = df[‘url’].tolist()

return html.Table([html.Tbody([

html.Tr([

html.Td(

html.A(titles[i], href=urls[i], target=“_blank”,))

], style={‘height’: ‘30px’, ‘fontSize’: ‘16’})for i in range(min(len(df), 100))

])], style={“height”: “90%”, “width”: “98%”})

@cache.memoize(timeout=3590), 可选择设置缓存, 我没使用

def get_df():

“”“获取当日最新的文章数据”“”

df = pd.read_sql(today, con=engine)

df[‘date_day’] = df[‘date’].apply(lambda x: x.split(’ ')[0]).astype(‘datetime64[ns]’)

df[‘date_month’] = df[‘date’].apply(lambda x: x[:7].split(‘-’)[0] + “年” + x[:7].split(‘-’)[-1] + “月”)

df[‘weekday’] = df[‘date_day’].dt.weekday

df[‘year’] = df[‘date_day’].dt.year

df[‘month’] = df[‘date_day’].dt.month

df[‘week’] = df[‘date_day’].dt.isocalendar().week

return df

导航栏的图片及标题

head = html.Div([

html.Div(html.Img(src=‘./assets/img.jpg’, height=“100%”), style={“float”: “left”, “height”: “90%”, “margin-top”: “5px”, “border-radius”: “50%”, “overflow”: “hidden”}),

html.Span(“{}博客的Dashboard”.format(info[‘author_name’][0]), className=‘app-title’),

], className=“row header”)

第一列的文字及数字信息

columns = info.columns[3:]

col_name = [‘文章数’, ‘关注数’, ‘喜欢数’, ‘评论数’, ‘等级’, ‘访问数’, ‘积分’, ‘排名’]

row1 = html.Div([

indicator(col_name[i], col) for i, col in enumerate(columns)

], className=‘row’)

第二列

row2 = html.Div([

html.Div([

html.P(“每月文章写作情况”),

dcc.Graph(id=“bar”, style={“height”: “90%”, “width”: “98%”}, config=dict(displayModeBar=False),)

], className=“col-4 chart_div”,),

html.Div([

html.P(“各类型文章占比情况”),

dcc.Graph(id=“pie”, style={“height”: “90%”, “width”: “98%”}, config=dict(displayModeBar=False),)

], className=“col-4 chart_div”),

html.Div([

html.P(“各类型文章阅读情况”),

dcc.Graph(id=“mix”, style={“height”: “90%”, “width”: “98%”}, config=dict(displayModeBar=False),)

], className=“col-4 chart_div”,)

], className=‘row’)

年数统计, 我的是2019 2020 2021

years = get_df()[‘year’].unique()

select_list = [‘每月文章’, ‘类型占比’, ‘类型阅读量’, ‘每日情况’]

两个可交互的下拉选项

dropDowm1 = html.Div([

html.Div([

dcc.Dropdown(id=‘dropdown1’,

options=[{‘label’: ‘{}年’.format(year), ‘value’: year} for year in years],

value=years[1], style={‘width’: ‘40%’})

], className=‘col-6’, style={‘padding’: ‘2px’, ‘margin’: ‘0px 5px 0px’}),

html.Div([

dcc.Dropdown(id=‘dropdown2’,

options=[{‘label’: select_list[i], ‘value’: item} for i, item in enumerate([‘bar’, ‘pie’, ‘mix’, ‘heatmap’])],

value=‘heatmap’, style={‘width’: ‘40%’})

], className=‘col-6’, style={‘padding’: ‘2px’, ‘margin’: ‘0px 5px 0px’})

], className=‘row’)

第三列

row3 = html.Div([

html.Div([

html.P(“每日写作情况”),

dcc.Graph(id=“heatmap”, style={“height”: “90%”, “width”: “98%”}, config=dict(displayModeBar=False),)

], className=“col-6 chart_div”,),

html.Div([

html.P(“文章列表”),

html.Div(get_news_table(get_df()), id=‘click-data’),

], className=“col-6 chart_div”, style={“overflowY”: “scroll”})

], className=‘row’)

总体情况

app.layout = html.Div([

定时器

dcc.Interval(id=“stream”, interval=1000*60, n_intervals=0),

dcc.Interval(id=“river”, interval=10006060, n_intervals=0),

html.Div(id=“load_info”, style={“display”: “none”},),

html.Div(id=“load_click_data”, style={“display”: “none”},),

head,

html.Div([

row1,

row2,

dropDowm1,

row3,

], style={‘margin’: ‘0% 30px’}),

])

上面的代码，就是网页的布局，效果如下。

网页可以划分为三列。第一列为info表中的数据展示，第二、三列为博客文章的数据展示。

相关的数据需要通过回调函数进行更新，这样才能做到实时刷新。

各个数值及图表的回调函数代码如下所示。

回调函数, 60秒刷新info数据, 即第一列的数值实时刷新

@app.callback(Output(‘load_info’, ‘children’), [Input(“stream”, “n_intervals”)])

def load_info(n):

try:

df = pd.read_sql(‘info’, con=engine)

return df.to_json()

except:

pass

回调函数, 60分钟刷新今日数据, 即第二、三列的数值实时刷新(爬取文章数据, 并写入数据库中)

@app.callback(Output(‘load_click_data’, ‘children’), [Input(“river”, “n_intervals”)])

def cwarl_data(n):

if n != 0:

df_article = get_blog()

df_article.to_sql(today, con=engine, if_exists=‘replace’, index=True)

回调函数, 第一个柱状图

@app.callback(Output(‘bar’, ‘figure’), [Input(“river”, “n_intervals”)])

def get_bar(n):

df = get_df()

df_date_month = pd.DataFrame(df[‘date_month’].value_counts(sort=False))

df_date_month.sort_index(inplace=True)

trace = go.Bar(

x=df_date_month.index,

y=df_date_month[‘date_month’],

text=df_date_month[‘date_month’],

textposition=‘auto’,

marker=dict(color=‘#33ffe6’)

)

layout = go.Layout(

margin=dict(l=40, r=40, t=10, b=50),

yaxis=dict(gridcolor=‘#e2e2e2’),

paper_bgcolor=‘rgba(0,0,0,0)’,

plot_bgcolor=‘rgba(0,0,0,0)’,

)

return go.Figure(data=[trace], layout=layout)

回调函数, 中间的饼图

@app.callback(Output(‘pie’, ‘figure’), [Input(“river”, “n_intervals”)])

def get_pie(n):

df = get_df()

df_types = pd.DataFrame(df[‘type’].value_counts(sort=False))

trace = go.Pie(

labels=df_types.index,

values=df_types[‘type’],

marker=dict(colors=color_scale[:len(df_types.index)])

)

layout = go.Layout(

margin=dict(l=50, r=50, t=50, b=50),

paper_bgcolor=‘rgba(0,0,0,0)’,

plot_bgcolor=‘rgba(0,0,0,0)’,

)

return go.Figure(data=[trace], layout=layout)

回调函数, 左下角热力图

@app.callback(Output(‘heatmap’, ‘figure’),

[Input(“dropdown1”, “value”), Input(‘river’, ‘n_intervals’)])

def get_heatmap(value, n):

df = get_df()

grouped_by_year = df.groupby(‘year’)

data = grouped_by_year.get_group(value)

cross = pd.crosstab(data[‘weekday’], data[‘week’])

cross.sort_index(inplace=True)

trace = go.Heatmap(

x=[‘第{}周’.format(i) for i in cross.columns],

y=[“星期{}”.format(i+1) if i != 6 else “星期日” for i in cross.index],

z=cross.values,

colorscale=“Blues”,

reversescale=False,

xgap=4,

ygap=5,

showscale=False

)

layout = go.Layout(

margin=dict(l=50, r=40, t=30, b=50),

)

return go.Figure(data=[trace], layout=layout)

回调函数, 第二个柱状图(柱状图+折线图)

@app.callback(Output(‘mix’, ‘figure’), [Input(“river”, “n_intervals”)])

def get_mix(n):

df = get_df()

df_type_visit_sum = pd.DataFrame(df[‘read_num’].groupby(df[‘type’]).sum())

df[‘read_num’] = df[‘read_num’].astype(‘float’)

df_type_visit_mean = pd.DataFrame(df[‘read_num’].groupby(df[‘type’]).agg(‘mean’).round(2))

trace1 = go.Bar(

x=df_type_visit_sum.index,

y=df_type_visit_sum[‘read_num’],

name=‘总阅读’,

marker=dict(color=‘#ffc97b’),

yaxis=‘y’,

)

trace2 = go.Scatter(

x=df_type_visit_mean.index,

y=df_type_visit_mean[‘read_num’],

name=‘平均阅读’,

yaxis=‘y2’,

line=dict(color=‘#161D33’)

)

layout = go.Layout(

margin=dict(l=60, r=60, t=30, b=50),

showlegend=False,

yaxis=dict(

side=‘left’,

title=‘阅读总数’,

gridcolor=‘#e2e2e2’

),

yaxis2=dict(

showgrid=False, # 网格

title=‘阅读平均’,

anchor=‘x’,

overlaying=‘y’,

side=‘right’

),

paper_bgcolor=‘rgba(0,0,0,0)’,

plot_bgcolor=‘rgba(0,0,0,0)’,

)

return go.Figure(data=[trace1, trace2], layout=layout)

点击事件, 选择两个下拉选项, 点击对应区域的图表, 文章列表会刷新

@app.callback(Output(‘click-data’, ‘children’),

[Input(‘pie’, ‘clickData’),

Input(‘bar’, ‘clickData’),

Input(‘mix’, ‘clickData’),

Input(‘heatmap’, ‘clickData’),

Input(‘dropdown1’, ‘value’),

Input(‘dropdown2’, ‘value’),

])

def display_click_data(pie, bar, mix, heatmap, d_value, fig_type):

try:

df = get_df()

if fig_type == ‘pie’:

type_value = pie[‘points’][0][‘label’]

date_month_value = clickdata[‘points’][0][‘x’]

data = df[df[‘type’] == type_value]

elif fig_type == ‘bar’:

date_month_value = bar[‘points’][0][‘x’]

data = df[df[‘date_month’] == date_month_value]

elif fig_type == ‘mix’:

type_value = mix[‘points’][0][‘x’]

data = df[df[‘type’] == type_value]

else:

z = heatmap[‘points’][0][‘z’]

if z == 0:

return None

else:

week = heatmap[‘points’][0][‘x’][1:-1]

weekday = heatmap[‘points’][0][‘y’][-1]

if weekday == ‘日’:

weekday = 7

year = d_value

data = df[(df[‘weekday’] == int(weekday)-1) & (df[‘week’] == int(week)) & (df[‘year’] == year)]

return get_news_table(data)

except:

return None

第一列的数值

def update_info(col):

def get_data(json, n):

df = pd.read_json(json)

return df[col][0]

return get_data

for col in columns:

app.callback(Output(col, “children”),

[Input(‘load_info’, ‘children’), Input(“stream”, “n_intervals”)]

)(update_info(col))

图表的数据和样式全在这里设置，两个下拉栏的数据交互也在这里完成。

需要注意右侧下拉栏的类型，需和你所要点击图表类型一致，这样文章列表才会更新。

每日情况对应热力图，类型阅读量对应第二列第三个图表，类型占比对应饼图，每月文章对应第一个柱状图的点击事件。

最后启动程序代码。

if name == ‘main’:

debug模式, 端口7777

app.run_server(debug=True, threaded=True, port=7777)

正常模式, 网页右下角的调试按钮将不会出现

app.run_server(port=7777)

这样就能在本地看到可视化大屏页面，浏览器打开如下地址。

http://127.0.0.1:7777

对于网页的布局、背景颜色等，主要通过CSS进行设置。

这一部分可能是大家所要花费时间去理解的。

body{

margin:0;

padding: 0;

background-color: #161D33;

font-family: ‘Open Sans’, sans-serif;

color: #506784;

-webkit-user-select: none; /* Chrome all / Safari all */

-moz-user-select: none; /* Firefox all */

-ms-user-select: none; /* IE 10+ */

user-select: none; /* Likely future */

}

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！