​数据整理——大数据治理的关键技术

数据整理——大数据治理的关键技术

杜小勇1,2, 陈跃国1,2, 范举1,2, 卢卫1,2

1. 中国人民大学信息学院，北京 100872；

2. 数据工程与知识工程教育部重点实验室（中国人民大学），北京 100872

摘要：数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面，如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据管理的角度，探讨了数据治理中的一项关键技术：数据整理。介绍了以数据拥有者和直接使用者（行业用户）为核心的数据整理的关键技术，包括数据结构化处理、数据质量评估及数据清洗、数据规范化、数据融合与摘取、数据整理的发布共享等。最后，针对加强数据整理方面的研究提出了一些思考。

关键词：数据整理 ; 数据准备 ; 数据治理 ; 数据管理

论文引用格式：

杜小勇, 陈跃国, 范举, 等. 数据整理——大数据治理的关键技术[J]. 大数据, 2019, 5(3): 13-22.

DU X Y, CHEN Y G, FAN J, et al. Data wrangling:a key technique of data governance[J]. Big Data Research,  2019, 5(3): 13-22.

1  引言

大数据作为一种资源，在政府、大型企业和机构中发挥着越来越重要的作用。随着大数据应用的不断推进，与数据资源的价值提炼、保值和增值密切相关的大数据治理越来越引起人们的重视。大数据治理是一项复杂的工程，它需要在国家、行业、企业等多个层面上开展体系化的建设，技术上包含数据资产确权、数据管理、数据开放共享、数据隐私保护等诸多方面。这些技术面临的挑战多、难度大，很多方面还没有形成被广泛认可的系统化的解决方案。本文从数据管理这一关键环节出发，探讨其中的关键支撑技术：数据整理（data wrangling）。

数据整理也叫数据准备，是在挖掘提炼数据价值的过程中进行的前期的数据预处理工作。它看似不足轻重，实则非常重要。有调查研究表明，很多大数据分析任务80%以上的工作花费在数据整理上，这给数据分析带来了巨大的人力成本。很多分析设想因为承担不起前期的数据整理工作而最终被放弃。更重要的是，由于缺少系统性和理论性的支撑，数据整理的质量千差万别，这给数据分析的结果带来了很大的不确定性，大大影响了大数据价值的挖掘与提炼。因此，人们很有必要重视数据整理的研究工作，它是整个数据治理环节中一项重要的基础性工作，但是这项工作在学术界和企业界并没有得到应有的重视。

2  数据整理概述

在数据仓库时代，数据预处理主要指的是抽取、转换和加载（ETL）过程。笔者探讨的数据整理和ETL过程有相似的地方，两者都将多源异构的数据集通过一系列处理和转换，变成想要的输出形式。但二者之间是存在较大差别的，具体如下。

● 针对的用户不同。ETL服务于专业的数据工程师，而数据整理服务于企业内部所有的数据使用者，以对数据处理技术不熟悉的业务用户为主。这些用户虽然缺少数据管理与数据处理知识，但对业务非常熟悉，对数据背后的语义更清楚。他们是企业机构大数据价值发现的主力。如何针对这类业务型数据分析人员的需求和特点，提供高效的数据整理工具，是数据整理技术面临的一大挑战。

● 数据处理的目的不同。数据仓库中的ETL是为了建立数据仓库采用的相对固定的数据处理流水线。数据处理过程一旦建立，整个过程比较静态，很少再变化。数据整理是针对企业业务系统中的问题，动态构建的数据处理过程。它针对具体问题进行数据预处理，针对不同问题采用不同的数据整理过程，一些任务之间可以共享某些数据整理过程。

● 数据处理的对象不同。ETL处理的数据对象多为业务系统数据库中的结构化数据源，这些数据源有很规范的元数据。数据整理则面临更复杂、更多样化的数据源，直接应对大数据多样性（variety）的挑战。这种多源异构性在很多大数据应用中非常常见。数据整理技术通常需要帮助用户将其拥有的数据与外部的一些数据源进行关联和数据融合。融合过程中存在的大量数据质量问题（如数据项缺失、不一致、重复、错位、异常值等）给数据整理带来了巨大挑战。与ETL技术相比，这种变化是一种质的变化。

数据整理是为了使数据更好地服务于数据分析而对数据进行的审查和转换的过程，它是整个数据分析流程中最占用精力的过程。从技术上讲，数据整理包含前期数据解析与结构化处理、数据质量评估与数据清洗、数据集成和提纯等过程。由于问题的复杂性，数据整理过程通常不是完全自动化的，而是需要用户介入的反复迭代和交互的过程。数据可视化、用户反馈与交互在整个过程中都发挥了重要作用。数据整理是由数据可视化领域的