mysql数据同步mongo_MySQL数据导入到Mongo

背景：如题干所述，需要将一份数据导入到mongo数据库，减少项目依赖的数据源。

解决方案：

使用mongo自带的mongoimport工具。

首先在test库里创建一个空集合：【import_test】，起初用的导入指令如下：

[root@localhost mongodb]# ./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin -d test -c import_test --fields=userid,serial,create_time --type csv -file csvToMongo.csv2018-06-11T18:47:07.075+0800 connected to: 192.168.104.178:17017

2018-06-11T18:47:07.083+0800 imported 15 documents

指令讲解：

--authenticationDatabase：测试集群使用了身份验证，需要在admin库里登陆后，才能操作

-d：集合所在的库

--fields：集合中的字段名

结果发现mongo的字段不能正常被创建，如下

只能换一种方式进行导入，后来发现将字段名称写到文件后，再导入就不会有问题，具体如下：

[root@localhost mongodb]# cat myfields.txt

userid

serial

create_time

myfields文件中保存了这三个字段，每行一个，然后执行导入命令：

[root@localhost mongodb]# ./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin -d test -c import_test --fieldFile myfields.txt --type csv --file csvToMongo.csv2018-06-11T18:58:06.894+0800 connected to: 192.168.104.178:17017

2018-06-11T18:58:06.903+0800 imported 15 documents

结果如下：

最后贴上测试用的csv数据：

[root@localhost mongodb]# cat csvToMongo.csv1504165,1,2016-05-25 04:13:07

1504585,1,2016-05-25 04:13:07

1556423,1,2016-05-25 03:02:45

1557488,1,2016-06-30 06:51:11

1558460,1,2016-03-29 06:54:50

1508659,1,2016-05-25 05:10:15

1500073,1,2015-04-14 13:12:32

1505064,1,2016-07-01 03:51:34

1507204,1,2016-09-21 10:28:49

1506296,1,2015-09-25 04:43:57

1506765,1,2016-07-01 07:26:10

1506944,1,2016-06-30 09:36:38

1506162,1,2015-12-09 10:08:10

1506814,1,2015-12-09 13:57:07

1506014,1,2016-05-25 06:38:28

注意：最后的最后，我终于知道为什么字段名不正常了，和mongo的指令无关，只是第一个指令最后一个参数写的有误，file前面只有一个横杠“-”，如果写两个横杠，也一样有正确的结果，哈哈哈

./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin  -d test -c import_test --fields=userid,serial,create_time --type csv --file csvToMongo.csv

说完了。

补充一个json文件的导入指令

./bin/mongoimport --host 192.168.104.178:17017 -u adminuser -p 112233 --authenticationDatabase=admin --drop  -d test -c session_info --file jsonToMongo.json -j 10

-j，多线程跑，可以自定义

--drop，导入之前先清空表里所有数据