数据平台简介_什么是数据平台

数据平台是什么

数据平台即数据开发平台,顾名思义,它需要屏蔽数据存储处理的底层细节,对外提供一个统一的数据服务平台,数据平台的服务目标,应该是提供一个完整的数据业务解决方案,提供全链路、一站式、智能化的数据构建与管理工具,降低数据建设门槛,而不是仅仅提供组件或孤立的系统,把流程串接和方案集成的工作都抛给用户自己去考虑,根据数据的生命周期,大致需提供以下功能和产品:

• 数据接入: 数据集成/etl
• 数据管理&治理: 元数据管理,数据仓库,数据质量,数据安全,指标管理
• 数据开发: 开发平台,作业调度
• 数据分析: olap 系统, 数据探索系统, ad-hoc query
• 数据输出: 数据api服务,报表系统,数据可视化

我司数据平台

就离线而言,我司的离线敏捷型数据仓库,统一对所有业务数据进行接入,分析和管理。而数据仓库构建在数据平台之上,所以我司数据平台负责:

• 提供统一的数据集成(离线 etl),数据开发,作业调度和数据可视化平台
• 提供海量数据的存储,计算和查询展示功能

就实时而言,目前平台采用 lambda 架构,提供实时开发平台,进行实时 etl 和 cep(复杂事件处理)等,将结果输出到一些在线系统(如 hbase)和业务系统(如营销系统)

平台架构如下:

另可参照:

• 链家离线平台