数据仓库—什么是数据仓库

数据仓库(Data Warehouse)是一种面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史数据(Time-Variant)的数据集合,用于支持管理决策分析。

数据仓库的核心特点

1. 面向主题(Subject Oriented)

   • 数据仓库按照特定的主题域(如销售、财务、客户等)对数据进行逻辑组织和存储
   • 数据按主题域进行集中存储,而不是传统的按应用程序进行分散存储
   • 这种主题化的组织方式便于用户进行跨系统、跨部门的数据查询和分析

2. 集成的(Integrated)

   • 数据仓库将来自不同源系统(如ERP、CRM等)的数据经过提取、转换和加载(ETL)过程集成到一起
   • 集成后的数据在概念和内容上保持一致性,形成统一的企业数据视图
   • 消除了不同源系统间的数据不一致、冗余等问题

3. 相对稳定的(Non-Volatile)

   • 数据仓库内的数据是只读的,不会被更新、删除或修改
   • 这样可确保数据的完整性和一致性,便于分析和查询
   • 新的数据通过ETL过程持续导入

4. 反映历史变化(Time-Variant)

   • 数据仓库包含了企业长期运营过程中所积累的海量历史数据
   • 这些历史数据可用于分析过去的趋势、模式和异常等
   • 方便进行回溯分析、趋势预测等决策支持任务

数据仓库的主要用途

数据仓库的核心作用是为企业决策者提供高质量的数据资源,支持各种商业智能分析需求,包括:

• 支持管理决策：数据仓库可以为企业管理者提供决策支持，帮助他们做出更好的决策。
• 进行数据分析：数据仓库可以用于进行数据分析，发现数据中的潜在价值。
• 提高运营效率：数据仓库可以帮助企业提高运营效率，降低成本
  具体可以表现为：
• 报表生成
• 多维度数据分析
• 数据挖掘
• 机器学习与预测分析
• 什么如果分析
• 关键绩效指标分析等

数仓架构

数据仓库通常采用三层架构设计,包括源数据层(Source Layer)、数据集成层(Integration Layer)和数据应用层(Access Layer),三层之间通过数据流动实现无缝集成。

源数据层(Source Layer)

1. 源数据层(Source Layer) 源数据层是数据仓库的数据来源,包括组织内部的运营系统(如ERP、CRM、SCM等)以及外部的数据源(如互联网、物联网、社交媒体等)。这些源系统通常是面向不同应用构建的在线事务处理(OLTP)数据库。

数据集成层(Integration Layer)

3. 数据集成层(Integration Layer) 数据集成层是数据仓库架构的核心环节,负责从各个源数据系统提取所需数据,并通过复杂的转换、清洗、质量检查等ETL(提取-转换-加载)过程,将源数据加载到面向分析的数据仓库和数据集市中。

   • 提取(Extract):根据预定义的规则从各种源系统中提取所需数据
   • 转换(Transform):对提取的数据执行清理、格式化、合并、细化等转换操作
   • 加载(Load):将转换后的数据加载到数据仓库或数据集市

数据集成层通常由独立服务器和专门的ETL工具软件来完成。同时该层还包括元数据存储库,用于管理和维护整个ETL过程的元数据。

数据应用层(Access Layer)

3. 数据应用层(Access Layer) 数据应用层是数据仓库与最终用户及应用程序交互的接口,允许用户查询、分析和可视化存储在数据仓库中的数据。通过此层,企业可创建各种报表、分析仪表板、数据挖掘模型等商业智能应用。

数据应用层通常由以下组件构成:

• OLAP(在线分析处理)服务器:支持多维度数据分析和挖掘
• 数据挖掘工具: 用于预测分析、关联分析等高级分析
• 查询和报表工具:用于生成各类分析报表和查询
• 数据可视化工具:将数据以图表、仪表盘等方式展现

数据仓库的优势

• 提高数据的一致性和可靠性：数据仓库通过整合来自不同数据源的数据，可以提高数据的一致性和可靠性。
• 提高数据分析的效率：数据仓库通过将数据组织成主题，可以提高数据分析的效率。
• 支持决策制定：数据仓库可以为企业管理者提供决策支持，帮助他们做出更好的决策。
• 提高运营效率：数据仓库可以帮助企业提高运营效率，降低成本

总结

数据仓库将来自不同源的分散数据进行集成,以主题化的方式组织历史数据,提供一个稳定、一致的企业数据平台,为决策分析提供强大的支持。它解决了传统系统无法满足决策支持需求的缺陷。

通过数据仓库,企业可以全面了解内外部业务运营情况,发现问题和机遇、分析历史趋势、预测未来走向,为业务策略、投资方向、营销策略等各类管理决策提供数据支持。是实现商业智能的关键基础平台。
数仓架构的这种分层架构设计使数据集成和管理更高效,同时也为用户决策分析提供了可靠、高质量的数据资源。