【Clickhouse】clickhouse-copier 对百亿级数据过程中出现计划与实际同步数据量不同报错_clickhouse remote后数据量不一致

作者：笔触狂放9 | 2024-05-30 17:27:26

踩

clickhouse remote后数据量不一致

同步方法与案例就不在阐述，可以看这篇文档同步案例

开始时间：2021年12月28日14:56:39
计划同步数据量：50869051971
带宽占用：40~50Mb/S
结束时间：2021年12月29日 07:44:06
实际同步数据量：15260647381

请添加图片描述
在这里插入图片描述

请添加图片描述

请添加图片描述

根据下图日志中反馈发现在写入piece 2的时候出现这种错误的原因在报错中已经体现出来，就是ClickHouse默认对一次ALTER TABLE命令的影响数据量大小有限制，不能超过50G，超过50G就会报错无法删除。
在这里插入图片描述

手动创建force_drop_table后再执行alter table。

每次alter table 50G的表后后都会删除该文件。
本次迁移一共会执行10次alter table 从第三次开始（因前两次导入到目标表后，目标表的数据量暂时未超过50G，第三次的开始的时候，发现目标的数据超过50G了）此时出现50G限制的报错，所以该方案并不适用。

通过修改配置文件config.xml永久生效。

<max_table_size_to_drop>0</max_table_size_to_drop>
<max_partition_size_to_drop>0</max_partition_size_to_drop>
1
2

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/647909