当前位置:   article > 正文

flink-cdc实时增量同步mysql数据到kafka_flink 实时读取mysql数据到kafka scala

flink 实时读取mysql数据到kafka scala

本文首发于我的个人博客网站 等待下一个秋-Flink

什么是CDC

CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。

Flink_CDC

1. 环境准备

  • mysql

  • kafka 2.3

  • flink 1.13.5 on yarn

说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境吧。

2. 下载下列依赖包

下面两个地址下载flink的依赖包,放在lib目录下面。

  1. flink-sql-connector-kafka_2.11-1.13.5.jar
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/561349
推荐阅读
相关标签
  

闽ICP备14008679号