基于hadoop架构的企业数字化转型，阿里数据中台实战案例_阿里数据中台 案例

昨天有网友问我：

大型传统企业如何在公司级数据整合、数据治理、数据运营中把握好业务和数据的关系，逐步实现智能化转型？

 

背景：

大型传统企业，通常都面临业务系统数据孤岛、各板块专业化程度高、多流程衔接交叉、数据不统一不完整不开放等问题。在搭建好物理层面hadoop数据平台的基础上，如何以业务流程为导向梳理数据走向，达成数据价值转化输出？

Gartner一项统计结果表明：到2019年，由于面对技能和整合的挑战，70%以上的Hadoop应用将陷入困境。

现在很多商业智能提供上都在为大数据应用倾注各种心血，大数据应用也变得更容易、更平滑。技能与整合会为我们带来挑战，那么挑战和困难会出现在什么地方呢？

企业面临的问题

问题一：业务系统数据孤岛、各板块专业化程度高

这是典型数据孤岛问题：业务系统很多，系统之间的数据不连通，造成信息壁垒。这样的问题要着重主数据管理，制定标准规则。

问题二：数据不统一不完整不开放

数据来源渠道多，责任不明确，数据填报缺失这些都是质量差的问题。这样的问题要着重数据治理，性能优化上可以采取分布式数据库。

问题三：以业务流程为导向梳理数据走向

这背后暗藏的现实可能是：

• 业务部门需求轰炸，IT部门成为一个取数机；
• 指标零散，业务和IT都不知道分析什么；
• 报表不成体系，有些报表冗余。

这也是很多企业的共性问题。

问题四：希望达成数据价值转化输出

因为问题三的原因，IT疲于业务需求，应付各种报表，数据没有很好形式展现，也无法对业务决策产生帮助。相应的，IT部门也无法对业务产生显性价值。

要让数据服务于业务，落地产生价值，具体该怎么做？

基于hadoop数据平台，先抛架构！

 

《10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解》，昨天的这篇文章已经把hadoop的架构讲的非常详细了，各位如果有不懂的再回头去看，也可以私聊我。

第一步：构建一个完善的数据环境

1.主数据管理

 

（1）定标准

所需标准有编码规则，命名原则、划分原则、共享原则。

• 标准规划：根据企业实际情况确定实施范围，并根据优先级和难易度制定计划。可以通过调查问卷、现场访谈、收集文档等手段进行调研标准的内容：数据分布、数据流向、服务规则等，形成调研报告。
• 标准设计：在方法论的指导下，完成数据标准设计和定义工作，如数据业务描述定义、类型长度定义、其他信息定义。
• 实施映射：将已定义的数据标准与业务系统、业务应用进行映射，注明两者的关系及影响的应用。
• 标准执行：借助专业的工具实现标准落地检查。
• 维护增强：随着业务发展，数据标准需要不断的修订和完善，并有效的持续维护改进。

（2）搭平台

将各业务中可能流通共享的主数据的名称和标准统一起来。

（3）控制关键环节流转

包括主数据管理的关键环节、合理排布关键环节处理顺序、安排责任岗位或部门对应关键环节。

2.数据质量

 

第二步：开展业务分析

1.指标梳理

 

分析什么数据，如何反馈给业务，这些都已转化成指标来解决

指标梳理需要和业务部门一同进行。可以通过访谈和调研梳理各业务层级关注的指标，从基层到高层。也可以将企业已有的SCOR、计分卡等绩效体系或者已有的业务分析体系，转化成可说明情况的指标。

2.建立全指标体系

指标梳理清楚后，从每一条业务线出发。这块业务对企业目标负责的关键成果是什么（KPA）——每一个KPA又可以用什么维度来衡量（KRA）——最后落实到基层的关键行动指标是什么（KPI）

最后所有业务汇总，形成一个全指标体系。

 

3.梳理报表体系

梳理完指标体系后，大致也就知道每个业务部门需要分析什么数据了。数据通常以报表的形式呈现，报表就都相当与数据落地的产品，有主题有规划的分析。

 

基础查询类报表：来自于基层业务和日常工作，功能作用于某一项具体的工作，比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等。用户在工作需要时，会通过查询此类报表，来得到自己想要的数据，以支撑自己的工作。

经营报表：用于日常管理，其功能不单作用于某项具体的工作，而是覆盖相关部门或某部门管理的一个工作模块。例如店长业绩管理看板、库存管理、异常店铺管理等。这类报表基于日常管理工作，通过查看这类报表来监控所负责业务的当前状态，发现问题，这类报表就属于决策辅助了。（如下方财务部门的数据监控）

finereport做的报表

战略报表：这个就用于高层集团事物的管理，比如boss们关注的每日盈利状况，项目进度监控等等。这类报表通常以驾驶舱的形式展现，用于企业全局监控。

finereport做的报表

我在文章的开头就说过，现在很多公司的报表不成体系，就像一个个数据孤岛，非常兀余，

在此我推荐给大家一个我曾经主导项目所用的软件，就是因为该项目的成功实施，帮助我顺利升职转战管理岗位，然后才有了一系列的跳槽，好不好用我说了不算，我只是站在一个普通用户的角度来帮助同行的你们。大家请往下看。

4.建立分析体系

到这里就是数据分析的范畴了，不同于日常管理经营类报表单方面的展现，这里更注重某一块业务问题，通过分析数据比如来缩减供应链成本、通过分析市场环境制定市场策略等。通常在传统企业的应用有智能制造、大数据营销、供应链优化、市场活动ROI分析、新零售业务提升、用户画像和客户标签等等。

这需要数据部门主动找活干，去为业务创造价值，因此更具针对性和主动性。

 

如何快速制作让领导满意的报表

1、用什么工具来做？

这可能是大家最关心的。做报表，可能涉及到和业务系统的打通，需求多，而且Excel收集数据以及制作报表基本都是全手工，工作量大且容易出错，遇到大数据量的时候会卡死，而且要做精美的可视化离不开数据的整理，遂放弃。其实资源有限的情况下可以用专业的报表工具，这里我用的是FineReport。

FineReport是一款企业级的web报表产品，能做数据录入、查询和展示。做复杂的格子类报表亲测秒杀Excel，关键是做可视化的dashboard很有一套。传统的格子类报表，常常以表格的形式展现，它能突出数据本身，但并不利于直观的看出数据之间的关系/趋势等。FineReport除了能实现复杂的表格样式外，还具备极其丰富的图表，能够满足多样的数据可视化场景诉求。

其数据可视化分为三个大类：统计图表、专注大屏的动效图表还有一些自定义的可视化插件。

（1）统计图表

FineReport提供数十类100多种统计图表，每类又包含多种风格样式。

 

每种图表的实际示例，我从官方演示系统截图下来的，乍一看很像Echarts图表库。

 

（2）可视化大屏类动效图表

就是上文很炫的可视化大屏。它里面有专为大屏数据可视化开发的一些动效图表。

 

 

做成的大屏就是像下面这样的。

 

（3）插件

除了官方产品自带的图表外，还有众多扩展图表插件。扩展图表插件是基于webgl等技术开发，通过简单拖拽即可实现自动播放、3D动画特效等多种效果，比如3D地球、3D卡片动画等。且可以根据图表类型和数据提供“自动轮播”和“定时刷新”，满足用户不同场景下的业务需求，在体现数据价值的同时让大屏炫酷起来。

 

2、可视化报表如何平衡实用及美感，避免花里胡哨？

酷炫而无物是做可视化要避免的，不能一味的追求可视化而忘记数据想要传达的业务含义。所以，可视化的前提在于你要展示哪些数据和指标。

站在分析的角度来布局。假设你要做一张可视化报表，报表一定有明确的主题，比如项目经营分析。有了明确的主题一定有几个与之核心相关的指标，比如项目销售额、项目回款额、项目进展进度等等。然后指标可以再多维度拆解。

比如从时间的维度。每个月项目销售情况如何，在建项目的进展如何？

从地理维度。各大区域项目情况如何？可以做个排名情况。

从计划维度。和年初定的计划相比，差了多少？

做好以上工作再去考虑每一块展示用什么图表和表格，怎么布局搭配，可以借鉴以下的思路。

 

另外一个点，领导所要看的报表其实和基础报表不一样，管理层的报表更多是想从数据的展示中分析出一些对业务有帮助的信息，更加注重数据分析和纠查甄错。也就是带着数据分析的思路去制作可视化报表。除了指标排布是哪个需要着重考量，报表也要给与一些分析属性。

比如一张报表只能展现全国的项目销售额、项目回款额、项目进展进度，但假若发现某个月的数据极其低迷，想要分析原因，可以通过对地域、项目产品等维度进行下钻分析，分析到底是哪个环节出了问题。

 

 

 

这一块finereport有很强大分析钻取功能。

所以，总结来讲，就是

① 对展现什么数据指标思路要清晰

② 可视化要围绕分析走

③ 巧用动态报表

总结

至此，关于原问题，我觉得可以从第二步开始展开，先以当下业务流程为导向，梳理指标体系，进而梳理报表体系。

工具上，需要一个具有开放性的报表/BI系统来支撑，需要满足的需求：

① 要能连接各系统数据，打通数据壁垒

② 能支撑底层的hadoop大数据平台架构，具有良好的数据处理性能

③ 前端可视化美观，做报表方便，具有一定分析功能。（看脸的世界，美而有用，业务才认同）