当前位置:   article > 正文

Kafka实时数据同步_kafka如何同步数据?

kafka如何同步数据?

目录

1 概述

2 捕获Oracle数据到Kafka

2.1 数据捕获设置

2.2 数据发布设置

2.3 捕获到发布数据流映射

2.4 查看任务执行日志

3 订阅Kafka数据到ClickHouse

3.1 数据订阅设置

3.2 数据加载设置

3.3 订阅到加载数据流映射

3.4 查看任务执行日志

 4 校验数据一致性


1 概述

BeeDI支持实时捕获业务系统变化数据并将其发步到Kafka,也支持从Kafka订阅实时数据并写入数仓或大数据平台。

BeeDI支持Oracle、DB2、SQL Server、MySQL、达梦等交易数据库实时数据捕获(日志解析),支持SAP Hana、GreenPlum、ClickHouse、Hbase、Hive等分析数据库批量数据写入。

2 捕获Oracle数据到Kafka

2.1 数据捕获设置

2.2 数据发布设置

2.3 捕获到发布数据流映射

2.4 查看任务执行日志

3 订阅Kafka数据到ClickHouse

3.1 数据订阅设置

3.2 数据加载设置

      

3.3 订阅到加载数据流映射

3.4 查看任务执行日志

 4 校验数据一致性

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/638895
推荐阅读
相关标签
  

闽ICP备14008679号