当前位置:   article > 正文

Debezium系列之:记录一次快速处理生产环境debezium connector故障,并使用debezium补缺失的数据_debezium connector taskstates empty

debezium connector taskstates empty

Debezium系列之:记录一次快速处理生产环境debezium connector故障,并使用debezium补缺失的数据

一、背景

debezium生产环境connector故障了,需要快速处理才能不影响后续数据开发任务,同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。

  • debezium connector状态是正常的,但是发现debezium没有采集数据库数据
  • 生产环境需要快速使connector恢复工作采集数据
  • 解决思路是:先恢复connector实现实时采集数据,再通过debezium补历史遗漏数据

二、快速恢复connector

  • connector状态正常,但就是无法采集数据,直接删除debezium故障的connector
  • 提交一个新的debezium connector,可以使用新的history topic,创建新的history topic,使用新的connector名称
  • 使用的模式是schema_only,如提示需要使用schema_only_recovery,则更新模式为schema_only_recovery,或者直接删除connector,使用schema_on
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/484086
推荐阅读
相关标签
  

闽ICP备14008679号