当前位置:   article > 正文

MySQL数据批量迁移至MongDB_java代码百万级数据从mysql迁移至mongodb中

java代码百万级数据从mysql迁移至mongodb中

背景故事:
公司的MySQL数据库关联太复杂了,结构难缠,关系混乱,为了后续项目的方便查询,老板交代,需要将MySQL的数据全部迁移至MongoDB中去。

这MySQL数据量大概在40M左右,数据量5w+,说起来不算太大,如果一条一条的读取迁移,任务也能完成,具体实施起来,效率就是慢的一批。果断转换思路。

ε=(´ο`*)))唉,想当年也是操作数据库的一把好手,不曾想,在这爬虫领域逍遥自在了许久,竟忘了这前世的情缘。(咳咳咳!扯远了)

回归正题,单条迁移,效率不太理想,那就来个步子大一点的方法,批量迁移数据。

具体实施的思路是:

1.查询MySQL数据库,获取数据。
2.将数据插入Monodb

难点总结:

查询MySQL数据库的问题在于,每次获取多少条的数据,最终目的是为了获取所有数据,但是也得考虑内存的负荷,如果数据量过大的话,电脑直接宕机了。

MongoDB对于插入的数据类型有要求,需要将查询出的数据统一成MongoDB能够接收的类型

下面就让我们来一起揭开数据批量迁移的神秘面纱吧

上代码:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/675620
推荐阅读
相关标签
  

闽ICP备14008679号