大型集团企业数字化转型数据中台建设方案WORD

一、大数据平台

大数据平台总体架构图

平台应采用Hadoop生态为基础的大数据框架为基础，构建平台的存储计算能力，达到共用大数据平台集群资源的目的；开展实时数据、标识系统、设备信息等的标准化建设，为数据集成集中奠定基础；广泛采用传感、自动识别、语义识别等技术采集数据，进一步提升数据获取和挖掘能力；抽取清洗治理存储生产实时数据，开展生产、营销、财务、物资、人资、基建等管理信息系统的整合与数据治理，实现数据互通和数据共享；构建一体化的数据管理平台，提高信息获取利用效率与信息集中管控能力。

二、人工智能平台

充分考虑发电厂业务大数据的特性，构建基于大数据分析技术，即人工智能平台。采用Spark、AI、ML、DL和微服务等先进技术，利用其高性能、可容错的分布式并行计算技术，实现满足海量数据的存储、处理、分析的可伸缩的分析应用平台。平台应提供多种挖掘算法，支持对结构化数据、半结构化和非结构化海量数据的处理、分析和挖掘，支持二次开发。平台应内置常用基础算法模型，如：包括KMeans聚类、GM高斯混合模型、随机森林、神经网络、SVM支持向量机、 FP-growth关联规则、OLS最小二乘法、EM最大期望值、决策树、线性回归、岭回归、梯度提升树、广义线性等常用算法模型。

提供可视化拖拽式操作建模支持，支持零编程开发AI模型，可实现一站式大数据智能分析平台，降低大数据分析的难度，可快速高效的支撑电力数字化和智能化应用场景的实现，能快速满足电力行业各种大数据分析挖掘主题需求。提供电力行业应用场景相适应的智能算法和模型，通过对机理模型和数学模型相互融合，不断优化迭代，助力发电企业智能化发展。

三、BI分析平台

BI平台分析引擎应以ROLAP（基于关系型数据库实现联机分析处理）理论为基础，实现以多维数据为核心的分析模型。数据分析过程应支持全可视化操作，支持图形化方式在不同的维度上，对数据模型进行钻取、切片、切块、旋转等操作。使用者只需用鼠标选择合适的展示方式，根据其行业知识设置好各个维度的筛选条件，就可以获得所需的分析结果。使用者既不需要懂得ROLAP技术细节也不需要懂编程技术，通过简单的拖拽和组装就能快速的构建出所需的分析结果，并对结果进行评估。

四、数据集成

数据集成模块通过流式数据、新型大数据、传统批量数据等多种技术手段，完成对生产设备数据、经营管理数据等多种数据来源的结构化、半结构化、非结构化的数据采集。

数据集成模块能够支持离线采集、实时采集等不同采集方式；支持结构化、半结构化和非结构化数据的采集、统一存储，形成原始数据层。可以针对不同的数据源和业务需求等特点，采取不同的采集方式、采集频次、存储方式。支持可视化配置的采集任务，具有统一的采集任务调度管理和监控能力。

数据采集工具负责将分散的、异构数据源中的关系数据、文件等抽取后进行清洗、转换、集成，即基于定义的数据标准，对原始数据进行结构化和标准化处理，最后加载到数据仓库或数据集市中，形成可供分析的数据，为后续联机分析处理、数据挖掘提供数据基础。

五、数据资产管理

数据资产管理模块具备数据标准管理、数据资产目录管理、数据指标管理、元数据管理、主数据管理、数据安全管理六项能力。

六、 数据质量管理

数据质量管理是对数据开发流程各个阶段的数据进行质量管理，包括对模型进行质量规则定义和质量稽核。稽查规则是对数据质量把控的第一把锁，能对表行数的结果进行统计，检测数据表行数的更新。质量规则定义设置数据非空率、对数据的预期值以及自定义SQL进行周期性监控有异常的时候在页面上进行告警让运维人员及时对数据异常原因进行排查和修复。提供规则对数据质量的校验，帮助公司量化数据质量的问题和整改方式。

对特定的数据对象、数据活动进行质量定义；从数据质量指标阈值、数据完整性、一致性、及时性进行监控；生成质量报告，修正数据错误，进行质量整改；从数据分类、系统、对象、时间等角度进行分析统计。

七、 数据分析与查询

提供数据查询分析工具，以及多种分布式统计算法工具，以方便用户查询、分析和进行数据挖掘工作。

针对生产设备数据可提供基于数据资产，支持测点数据的同类查询服务，基于设备类、测点类、设备名称、属性类型、测点编号等维度进行查询；并支持展示任意时间段的时序曲线

八、 数据服务

数据服务可提供可视化的数据API的开发、测试、发布、调用等功能。支持快速构建API，并与API网关打通，可以将API发布至API网关，API可以在数据应用、报表、大屏中调用，或者授权给他人以共享数据。

支持对存储在对象存储系统中的文档进行全文检索，可应用于企业会议文件、规范、规章制度、图片、音频、视频等的内容查询。

九、实时数据库

可支持百万级标签点, PB级以上数据，是数据库技术在工业控制领域深入应用的基础。由实时数据库提供丰富、易用的客户端管理工具，包括日志管理、安全管理、标签管理、实时/历史数据库管理、分布式管理、目录管理、数据镜像、报表工具、数据告警、组态工具(支持移动终端)、曲线分析、过程回放、散点图分析、数据采集、数据计算、OpcServer等功能，可帮助用户进行数据库数据的各项管理、分析和维护。可支持对控制系统、实时数据库、手工录入数据进行数据采集。在存储方案上，需对数据采用高压缩比存储方案，减少磁盘空间占用，降低传输带宽要求。

十、 运维管理

数据中台运维管理模块提供可视化的集群管理入口，提供集群创建、管理、监控、维护全生命周期的管理服务。目的是提高了数据中台的易用性，降低数据中台的运维难度，保障平台在运行状态监控下稳定运行。