工业大数据技术与应用2017材料整理

工业大数据的概念与价值

工业大数据的概念、意义和发展历程

工业大数据的内涵

讨论定义，从空间分布、产生主体两个维度对工业大数据进行分类，以及数据产生主体和内容结构演化路径。

工业大数据的定义

工业大数据即工业数据的总和，我们把它分成三类，即企业信息化数据、工业物联网数据(主要是时序数据)，以及外部跨界数据。工业大数据是智能制造与工业互联网的核心，其本质是通过促进数据的自动流动去解决控制和业务问题，减少决策过程所带来的不确定性，并尽量克服人工决策的缺点。
企业信息系统存储了高价值密度的核心业务数据，新的、增长最快的是工业物联网数据，外部跨界数据是工业大数据不可忽视的来源。

工业大数据的空间分布

工业大数据不仅存在于企业内部，还存在于产业链和跨产业链的经营主体中。

工业大数据的产生主体

人和机器是产生工业大数据的主体。人产生的数据是指由人输入到计算机中的数据，例如设计数据、业务数据、产品评论、新闻事件、法律法规等。机器数据是指由传感器、仪器仪表和智能终端等采集的数据。智能制造与工业互联网发展，应致力于推动数据的自动采集。
对特定企业而言，机器数据的产生主体可分为生产设备和工业产品两类。生产设备是指作为企业资产的生产工具，工业产品是企业交付给用户使用的物理载体。前一类数据主要服务于智能生产，为智能工厂生产调度、质量控制和绩效管理提供实时数据基础；后一类数据则侧重于智能服务，通过传感器感知产品运行状态信息，帮助用户降低装备维修成本、提高运行效率、提供安全保障。
随着互联网与工业的深度融合，机器数据的传输方式由局域网络走向广域网络，从管理企业内部的机器拓展到管理企业外部的机器，支撑人类和机器边界的重构、企业和社会边界的重构，释放工业互联网的价值。

工业大数据的发展趋势

从数据类型看，工业大数据可分为结构化数据、半结构化数据和非结构化数据。结构化数据即关系数据，存储在数据库里，可以用二维表结构来表达实体及其联系。不方便用二维表结构来表达的数据即称为非结构化数据，包括办公文档、文本、图片、各类报表、图像、音频、视频等。所谓半结构化数据，就是以 XML 数据为代表的自描述数据，它介于结构化数据和非结构化数据之间。
近年来，智能制造和工业互联网推动了以“个性化定制、网络化协同、智能化生产和服务化延伸”为代表的新兴制造模式的发展，未来由人产生的数据规模的比重将逐步降低，机器数据所占据的比重将越来越大。

工业大数据的特点

工业系统的本质特征

工业系统往往具有复杂动态系统特性，确定性是工业系统本身能够有效运行的基础，应对不确定性的前提是感知信息、消除不确定性。由此可见，工业系统同时具有确定性和不确定性的特征，确定性是目标，不确定性则是机会。

工业大数据的 4V 特征

工业大数据首先符合大数据的4V 特征：大规模（Volumn）、速度快（Velocity）、类型杂（Variety）、低质量（Veracity）

工业大数据的新特征

除了具备大数据的 4V 特征，相对于其它类型大数据，工业大数据集还具有反映工业逻辑的新特征。这些特征可以归纳为多模态、强关联、高通量等特征。

工业大数据应用特征

我们把工业大数据的应用特征归纳为跨尺度、协同性、多因素、因果性、强机理等几个方面。这些特性都是工业对象本身的特性或需求所决定的。

工业大数据的创新价值

数据始终影响着人类工业化进程，数据在信息化过程中发挥着核心作用，工业大数据是新工业革命的基础动力

工业大数据支撑中国制造弯道取直

中国是制造大国，但不是制造强国
工业大数据提升制造智能化水平，推动中国工业升级
工业大数据支撑工业互联网发展，促进中国工业转型
工业大数据助力中国制造弯道取直

工业大数据典型应用场景

优化现有业务，实现提质增效

研发能力提升、生产过程优化、服务快速反应、推动精准营销

促进企业升级转型

创新研发设计模式，实现个性化定制
建立先进生产体系，支撑智能化生产
基于全产业链大数据，实现网格化协同
监控产品运行状态和环境，实现服务化延申

促进中小企业创新创业

工业大数据的实施策略

工业大数据的实施策略可以总结为“业务牵引、技术推动、人才支撑”。

业务的加减乘除

业务的加法主要可以从两个维度进行归纳，一个是设计、研发、生产等环节的提质增效，另一个是产品自身的提升，包括产品质量、产品智能化水平等产品竞争力的提升，以及产品业务形态的拓展，例如从卖硬件产品到系统解决方案。减法主要指对现有业务的优化，例如无人少人化、缩短研发周期、降低能耗、压缩服务时间等。乘法对于制造业企业意味着工业互联网平台战略的成功实施，实现用户、零部件供应商、服务商、设计院等外部资源在平台上的聚集、发展与协同，实现企业的指数型发展。除法是指企业精确定位自己的核心竞争力以及在工业互联网体系中的对应位置和分工，剥离非核心资产，外包高成本业务，实现轻资产化运营。

过程的智能再造

系统的统筹规划

有四方面较为共性问题需要思考。第一，数据资产梳理。第二，基础架构选型。第三，原有遗留系统定位。第四，建设开发方法。

分析算法与模型的领域化

应重点关注如下问题：分析算法与模型的专业化，跨时间尺度数据综合分析，交互式分析，领域知识自动化

人才的培养引进

工业大数据系统与技术架构

工业大数据生命周期

基于工业互联网的网络、数据与安全，工业大数据将构建面向工业智能化发展的三大优化闭环处理流程。一是面向机器设备运行优化的闭环，核心是基于对机器操作数据、生产环境数据的实时感知和边缘计算，实现机器设备的动态优化调整，构建智能机器和柔性产线；二是面向生产运营优化的闭环，核心是基于信息系统数据、制造执行系统数据、控制系统数据的集成处理和大数据建模分析，实现生产运营管理的动态优化调整，形成各种场景下的智能生产模式；三是面向企业协同、用户交互与产品服务优化的闭环，核心是基于供应链数据、用户需求数据、产品服务数据的综合集成与分析，实现企业资源组织和商业活动的创新，形成网络化协同、个性化定制、服务化延伸等新模式。
工业大数据的处理过程符合大数据分析生命周期，涉及多个不同阶段。

工业大数据技术架构

工业大数据管理能力包含数据采集与交换、数据预处理与存储、数据工程与数据建模四部分，工业大数据分析能力涵盖支持离线批量计算和在线实时计算的分布式分析框架，以及工业领域分析会使用到的各类分析算法库。
工业大数据技术架构：

工业大数据分析技术架构

工业大数据分析技术分为两大部分：分布式计算框架与工业大数据分析算法库。

工业大数据管理技术

主要针对工业大数据多样性、多模态、高通量和强关联等特性，重点阐述工业大数据管理中主要技术。

多样性数据的采集技术

工业软硬件系统本身具有较强的封闭性和复杂性，不同系统、设备的数据格式、接口协议都不相同

多模态数据的管理技术

各种工业场景中存在大量多源异构数据，例如结构化业务数据、时序的设备监测数据、非结构化工程数据等。每一类型数据都需要高效的存储管理方法与异构的存储引擎，但现有大数据技术难以满足全部要求。以非结构化工程数据为例，特别是对海量设计文件、仿真文件、图片、文档等小文件，需要按产品生命周期、项目、BOM 结构等多种维度进行灵活有效的组织、查询，同时需要对数据进行批量分析、建模，对于分布式文件系统和对象存储系统均存在技术盲点。另外从使用角度上，异构数据需要从数据模型和查询接口方面实现一体化的管理。例如在物联网数据分析中，需要大量关联传感器部署信息等静态数据，而此类操作通常需要将时间序列数据与结构化数据进行跨库连接，因而需要针对多模态工业大数据的一体化查询协同进行优化。

高通量数据的写入技术

强关联数据的集成技术

工业大数据分析更关注数据源的“完整性”，而不仅仅是数据的规模。由于“信息孤岛”的存在，这些数据源通常是离散的和非同步的。工业大数据应用需要实现数据在物理信息、产业链、以及跨界三个层次的融合。

工业大数据分析技术

强机理业务的分析技术

工业过程通常是基于“强机理”的可控过程，存在大量理论模型，刻画了现实世界中的物理、化学、生化等动态过程。另外，也存在着很多的闭环控制/调节逻辑，让过程朝着设计的目标逼近。在传统的数据分析技术上，很少考虑机理模型（完全是数据驱动）、也很少考虑闭环控制逻辑的存在。强机理对分析技术的挑战主要体现在三个方面：1）机理模型的融合机制，如何将机理模型引入到数据模型(比如机理模型为分析模型提供关键特征，分析模型做机理模型的后处理或多模型集合预测)或者将数据模型输入到机理模型（提供 parameter calibration）；2）计算模式上融合，机理模型通常是计算密集型（CPU多核或计算 cluster 并行化）或内存密集型（GPU 并行化），而数据分析通常是 I/O 密集型（采用 Map-reduce、parameter server 等机制），二者的计算瓶颈不同，需要分析算法甚至分析软件需要特别的考虑；3）与领域专家经验知识的融合方法，突破现有生产技术人员的知识盲点，实现过程痕迹的可视化。比如，对于物理过程环节，重视知识的“自动化”，而不是知识的“发现”。将领域知识进行系统化管理，通过大数据分析进行检索和更新优化；对于相对明确的专家知识，借助大数据建模工具提供的典型时空模式描述与识别技术，进行形式化建模，在海量历史数据上进行验证和优化，不断萃取专家知识。

低质量数据的处理技术

数据高效率处理技术

这篇内容上写的确实不咋地，不想整了。