某银行业管系统数据架构_商业银行管会的数据架构

---

前言

历时11个月的某银行H业务系统投产试运行完毕,现总结一下结构文档,积累项目经验。整个文档完全是个人对该项目架构的理解和总结，如果有不甚合理的地方欢迎讨论

---

1 项目背景

银行H是一家股份制商业银行，没有四大行的技术实力，所有核心数据都是经由银联存储，并由银联全资子公司银联数据进行数据维护和处理。银数使用Oracle为核心数据系统，并且银数的核心表对于使用银数服务的银行来说是通用的，因此知道搞清楚银数的核心数据架构，对于其他的金融项目是大有好处的。
本项目的目标是采集银数的核心数据，融合行内自有的数仓、风控等数据提供业务扩展、数据监控、报表指标分析等。

---

2 数据处理

我们的数据模型构建做了分层处理：

1. 贴源层：保留贴源表原数据，用于加工中间层以及业务扩张工作
2. 中间层：根据对银数的了解，加工出中间表，该部分表为真正对业务开放的表
3. 业务层：夹杂业务逻辑进行的数据加工，提供最终的业务结果信息供页面展示
4. 模型创建层：行内业务人员真正可以操作部分，根据配置达到最终所需要的结果数据集
   

2.1 数据来源

数据来源主要有以下几个部分：

1. 银联托管的数据
2. 行内数仓系统的数据
3. 行内风控系统的数据
4. 应用查询人行征信数据

2.2 数据采集

1. 银数针对每个金融机构均设有前置机，每天会将当日增量数据按照压缩包方式(银行号-S24-日期.tar.Z)进行下发至前置机，同时会添加一个结束文件(银行号-S24END-日期)标志已传输完毕
2. 行内数仓和风控系统数据会上传到行内的文件交换平台，然后本系统再根据确定的文件名、批次号下载对应的文件
3. 征信数据是由应用侧负责解析xml文件，然后保存到已经建构好的数据库表中。

2.3 数据存储

1. 方案采用sqlldr方式进行数据处理，数据第一层处理，根据业务需求进行数据粗筛选，剔除部分行内不需要的数据后进行操作入库
2. 针对纯新增数据，采用直接原表插入处理
3. 针对新增+变更数据场景，采用Merge操作进行处理，保证数据的唯一性和准确性
4. 数据的采集存储是根据来源的不同分批次处理的，这个后续会在系统总控中说明

2.4 数据计算

1. 数据入库之后首先构建中间层宽表，根据业务融合数据，方便业务的扩展和后续指标的计算
2. 中间层数据主要是根据银数的核心表来展开的，主要有卡、户、人、日均交易等几个维度
3. 构建好中间层宽表之后，按照中间层对业务模块进行展开，完成报表、模型等的创建然后构建出业务层
4. 报表的构建是使用oracle的procedure完成；模型的构建是使用数据可是话拖拽的方式完成的
   

2.5 数据展示

1. 报表的展示，在业务层的基础上，完成报表表格的构建，完后配置更新频率和查看权限即可
2. 领导驾驶舱的展示，需要构建单独的业务逻辑，然后以图表，大屏的方式展示
3. 数据的展示使用的是第三方的报表工具，这方面市场上有比较成熟的产品，比如帆软等

---

3 系统总控

我们使用shell脚本控制整个系统数据部分的架构。

1. 在数据采集阶段，根据数据来源的不同分为不同的批次：CORE、ODS、和其他内部系统，其中人行征信数据不在总控阶段采集。它是在应用侧随时采集保存的。
2. 数据存储阶段，总控脚本会调用预先写好的oracle sqlloader的控制文件和脚本，也是会按照不同的批次进行存储
3. 数据计算阶段，总控脚本会按照批次定时执行oracle的procedure计算出宽表和业务层的指标
4. 数据展示阶段，由第三方BI工具根据预先设置好的频率刷新报表数据
5. shell总控脚本交由行方运维人员使用行内的调度平台，每天凌晨执行

---

4 数据安全

1. 金融行业数据比较敏感，需要额外注重数据准确性还有数据敏感性。确保数据从银数或者行内系统采集过来准确，且准时；然后在数据展示阶段需要对数据进行脱敏工作，确保用户数据不泄露
2. 系统需要做好数据的备份与容灾恢复。核心数据那边由银数托管，中间层和业务层的数据系统会默认保存两年。并且支持个性化指定存储时限
3. 在行内文件交换平台进行数据传输的时候，需要确保数据点到点传输。无关人员不能有数据的任何权限