数据仓库——ETL(详细教程)_etl教程

目录

建模方式

ETL

新建etl项目，设置项目名称位置

新建数据源

新建SSLS包

做全量

双击编辑执行SQL任务

 双击编辑数据流任务

编辑OLE DB源

编辑数据流转换

编辑OLE DB源目标

右键选择执行

做增量 

编辑执行SQL任务

编辑任务条件

编辑数据流任务1

编辑数据流任务2

执行任务

数据类型不同不能转换的问题

---

建模模型：维度模型——生成维度表，事实表
事实表为什么叫事实表？——表里有需要被统计的列

建模方式

使用PowerDesigner建立数据模型导出sql文件

1》星模型。事实表关联相关维度表（开发时最多使用）
2》雪花模型。区别 维度表还关联了另一维度表（多张表关联【查询速度慢：通常做降维 >>维度合并 >> 变成星型模型   合并后有重复数据不再符合三段式】）
3》星座模型。多个事实表共同关联维

ETL

将源数据etl到数据仓库里

 新建etl项目，设置项目名称位置

 新建数据源

本地服务器名:  . 

 新建SSLS包

做全量

当前数据量比较小，当数据量大时做增量

做全量的步骤，先清空再将数据移动过来

双击编辑执行SQL任务

执行第一步，先将表中的内容删除

 双击编辑数据流任务

 创建传输流程

编辑OLE DB源

编辑数据流转换

 编辑OLE DB源目标

 

 右键选择执行

变绿执行成功

下面是对事实表做增量

做增量 

创建增量序列容器

 编辑执行SQL任务

编辑任务条件

 选中左边线路

 选中右边线路

 编辑数据流任务1

假设是15号开始建立数据仓库

第一步是将14号及之前的所有数据做全量

同样在数据源中选择出符合数据仓库列的内容

 其余步骤与做全量一样

 编辑数据流任务2

保存过14号之前的数据这里从第15号开始

这里改为=

 后面过程相同

执行任务

第一次执行会执行左边，这是第二次执行会执行右边

数据类型不同不能转换的问题

sql server中更改列表类型默认不能更改需要到工具—选项—设计器中取消掉阻止更改，确定并刷新