大数据智能决策系统架构：大数据决策支持概述_智能决策支持系统整体框架图

作者：禅与计算机程序设计艺术

1.背景介绍

随着互联网、移动互联网、物联网等技术的发展，数据量越来越大、产生的数据也越来越多，传统信息化系统面临巨大的困难，技术壁垒加剧，如何有效地管理、分析海量数据的同时实现精准、实时地为用户提供决策支持，成为一个迫切需要解决的问题。 随着云计算、大数据处理的不断深入，人们对于云计算、大数据的理解也更加深入了一步，新的技术进步也使得企业面临更多的数据挖掘、存储、处理、分析等问题，如何将大数据处理平台与业务应用相结合，构建出一套完整的大数据智能决策系统架构，提升决策效率、降低决策成本，也是许多行业的重点关注之一。在此背景下，近年来国内外相关机构和学者对大数据智能决策系统的建设进行了大量探索研究。 大数据智能决策系统主要由三个模块组成：数据源模块、数据预处理模块、决策支持模块。其中，数据源模块负责从多个数据源获取数据，包括日志、监控、交易、互联网搜索引擎等；数据预处理模块则通过对原始数据进行清洗、规范化、去噪、编码等操作，得到处理后的数据集；决策支持模块则基于经过数据预处理后的数据集，结合知识库和规则等方法对用户需求进行分析，并给出精准有效的决策支持。 基于以上三个模块，我们可以将大数据智能决策系统分成三层架构，如下图所示。

1. 数据源模块：主要完成数据的采集、收集、加载、存储等工作。包括日志数据采集、分布式文件系统（HDFS）存储、消息队列中间件存储等。
2. 数据预处理模块：主要完成数据的清洗、规范化、编码、去噪等工作，将原始数据转化为可用于决策支持的标准数据集。包括数据清洗、数据规范化、特征工程、数据编码、缺失值处理等。
3. 求解优化模块：主要基于数据预处理后的数据集，结合知识库和规则等方法对用户需求进行分析&