现代企业数据架构_企业数据架构由以前应用为中心的模式,向分析为中心的模式转变

数据在概念化架构的初步设计方面起着至关重要的作用。您可能需要确定安全性、性能和基础架构的要求，以处理设计中的工作负载、可扩展性和敏捷性。在这种情况下，您需要了解数据模型以及如何处理架构决策，包括数据隐私和安全性、合规性要求、要处理的数据大小和用户处理要求。 

这就是数据驱动架构是企业设计开发的驱动因素的原因。本文所指的现代企业架构包括微服务、云原生应用、事件驱动解决方案和数据密集型解决方案。本文旨在分享现代企业数据架构的观点，包括解决方案方法和架构模型，以开发迎合速度、准确性、数量和各种数据处理服务的新时代解决方案。 

多语言持久性和数据库即服务

最近基于各种案例研究的数据架构趋势建议向多语言持久性发展，这是一组用于集成架构的多种类型的数据存储技术。需要集成架构来为跨不同服务的任何类型的数据处理提供高性能。通常用于云采用，这种实现由数据库即服务 (DBaaS) 支持。实施 DBaaS 有以下好处：

• 基于云的数据库管理系统（例如，Amazon Aurora、Azure Cosmos DB、Google Spanner）
• 高扩展性
• 快速配置
• 云架构中的增强安全性
• 适合大型企业设计
• 共享基础设施
• 监控和性能调整工具的可用性

这种基于多语言持久性的微服务架构有助于开发弹性、健壮和高性能的架构，以支持不同微服务的不同类型的数据服务（参见图 2）。

在上面的示例中，每个微服务处理不同容量和性能要求的数据。因此，基于这些数据访问要求，可以选择数据库以满足性能、可扩展性和要存储在系统中的最佳数据模型。这利用微服务在多语言持久性模型中创建具有成本效益和敏捷的架构。 

现代数据架构中的数据建模

在传统架构开发中，数据建模是一项简单的任务，即从需求中导出数据元素，通过实体关系 (ER) 图描绘实体之间的关系，并围绕数据元素定义参数（数据类型、约束、验证）。这意味着数据建模是通过从需求定义数据定义语言 (DDL) 脚本在传统架构中作为单步活动完成的。 

在现代企业数据架构中，这分为概念、逻辑和物理数据建模等多阶段活动，如下图 3 所示。在数据强度高的数据驱动架构中，数据建模是基础和关键步骤（当然，也很耗时）。在这样的架构开发中，数据建模创新地分为三种不同的类型： 

1. 概念数据模型 (CDM) – 源自业务需求，用于定义数据流中处理的“内容”。通常，CDM 由业务利益相关者（例如，顾问、业务所有者、应用程序分析师）和数据架构师定义。
2. 逻辑数据模型 (LDM) – 源自 CDM，用于深入研究实体之间的逻辑关系并详细说明实体的数据类型。处理数据流中“如何”处理的数据，由业务顾问和数据架构师/工程师定义。
3. 物理数据模型 (PDM) ——基于 LDM 定义实际蓝图，将其转换为数据脚本以在实时环境中执行。这是数据结构的性能、事务处理机制以及数据模型的调整和优化的关键阶段，通常由数据库管理员或数据工程师处理。

数据智能

数据智能和数据分析是现代企业数据架构中使用的现代技术，用于 NoSQL 数据库处理大数据以及数据密集型应用程序架构。它涉及一种或多种流行的技术解决方案，例如用于解决方案敏捷性和可扩展性的云平台，用于构建数据处理智能的高级算法的 AI/ML，以及用于处理数据存储和分析的大数据平台。 

数据智能处理数据以进行可视化和分析，方法是使用预测智能来集中数据，以便未来可视化（预测）。到目前为止，企业股票的趋势是数据智能的一个例子，数据分析正在利用历史来预测明年它将如何变化。两者都使用 AI/ML 和深度学习技术，并且都从各种来源读取数据，包括数据馈送、图像、视频流和音频提取，以解释和准备数据处理的结果。数据智能的使用有助于将数据直观地解释给不同的利益相关者，包括业务和技术角色。 

当您开发数据智能解决方案时，您需要在数据库系统中具有自我管理功能，以便数据库能够自给自足并能够自动处理危机情况。这被称为自治数据库，是新时代数据持久性系统未来的一部分。

自治数据库

数据库充当 IT 应用程序的大脑，因为它充当在应用程序中处理和引用的数据的中央存储。数据库管理员 (DBA) 负责处理数据库调优、安全活动、备份、灾难恢复活动、服务器/平台更新、健康检查以及数据库的所有其他管理和监控活动。 

当您使用云平台进行应用程序和数据库开发时，上述活动对于提高安全性、性能和成本效率至关重要。这里的重要方面是通过减少工作量并使它们在本质上更具主动性来实施这些。Oracle 使 DBA 在管理数据库平台和减少人为干预方面的许多活动自动化。 

数据网格

传统上，通过将所有域都放在一个数据存储中，数据本质上是单一的，有效的数据分割和数据解决方案将通过数据仓库和数据湖解决方案来完成。数据湖过去在数据管理和现代数据分析方面更高效，这些数据适合敏捷数据架构，但访问数据的方式缺少数据湖中的联合或自治方法。 

如图 4 所示，统一数据解决方案由具有数据网格的现代企业数据架构解决，数据网格是数据存储的微服务模式。数据网格在特征方面复制了服务网格。服务网格为服务之间的接口创建代理，而数据网格为数据分析、仪表板和数据查询应用程序等消费应用程序创建数据抽象和接口代理。 

数据网格架构有助于开发多维数据解决方案，以在统一架构中同时处理操作数据平面和分析数据平面，而无需开发两个不同的数据解决方案。 

使用 Lakehouse 架构的异构数据管理

对于数据分析和智能数据管理，我们更喜欢使用数据湖解决方案或数据仓库解决方案，但这些解决方案都有自己的数据组织和管理方式。数据仓库处理关系数据（原始数据馈送）和已处理数据（数据摄取后），这些数据在存储到数据存储服务（数据丰富）之前以模式结构组织。因此，数据分析适用于清理过的数据。 

数据仓库是一种昂贵的存储形式，但查询处理速度更快，因为它处理基于模式的结构化数据，适用于数据智能、批处理和实时数据可视化。 

数据湖库架构是一种混合方法，使用以下方式处理异构数据管理： 

• 数据湖
• 数据仓库
• 用于中间数据处理的专用存储
• 用于更好的数据处理策略的数据治理机制
• 数据完整性服务

数据湖库架构克服了数据湖和数据仓库解决方案的缺点，因此在现代企业数据解决方案中越来越受欢迎，例如使用来自各种来源的数据馈送的潜在客户生成和市场分析。 

Lakehouse 架构可以处理由内而外的数据移动，从存储在数据湖中的数据到一组提取的数据，再到用于分析或查询活动的专用存储。从数据仓库到数据湖的由外而内的数据移动有助于对完整的数据集进行分析。通过 Lakehouse 架构，我们还可以处理大规模并行处理 (MPP) 的数据，如数据仓库应用程序、高速数据查询和数据湖应用程序。