数据质量管理：自定义脚本or质量监控工具Griffin_griffin 数据质量比对

1.1  数据质量整体概述

数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期，只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块，主要可以分为数据的健康标准量化、监控和保障。

1.2. 数据质量标准分类

① 数据完整性: 数据不存在大量的缺失值、不缺少某一日期/部门/地点等部分维度的数据，同时在ETL过程当中应保证数据的完整不丢失。验证数据时总数应符合正常规律时间推移，记录数总数的增长符合正常的趋势。

② 数据一致性: 数仓各层的数据，应与上一层保持数据一致，最终经过数据清洗转化（ETL）的宽表/指标能和数据源保持一致。

③ 数据不重复性：一个数据集当中同一条数据记录不能出现多次，数据不能大量重复冗余，保证数据的唯一性。

1.3  数据质量管理解决方案

        通过Shell命令和Hive脚本的方式，通过验证增量数据的记录数、全表空值记录数、全表记录数、全表重复值记录数是否在合理的范围之内，以及验证数据来源表和目标表一致性，确定当日的数据是否符合健康标准，达到数据质量的监控与管理。
————————————————

1 Griffin  概述

Apache Griffin 是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数
据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如：
离线任务执行完毕后检查源端和目标端的数据数量是否一致，源表的数据空值等。

2 Griffin  架构原理