当前位置:   article > 正文

DATAX:MongoDB增量数据写入到mysql中_datax以增量导入数据

datax以增量导入数据

项目场景:

简述:

使用DATAX进行Mongo的数据抽取,然后写入到mysql中,其中会牵涉到全量数据的写入和增量数据的写入。
全量 数据的写入我们只需要正常写JSON模板即可,使用column将要获取的字段。但是考虑到有增量数据获取的时候,需要增加限定条件。

{
   

  "job": {
   

    "content": [

      {
   

        "reader": {
   

          "name": "mongodbreader",

          "parameter": {
   

            "address":["IP:端口号"],
			"toUri":true,"ssl":false,
			"trustStore":"",
			"trustStorePassword":"",
			"userName":"xxx",
			"userPassword":"",
			"dbName":"xxxx",
			"collectionName": "xxxx",
      "column":[
   {
   
    "name":"CRT_TM",
    "type":"string"
   }
      ]
          }
        },
                
		"writer": {
   
			
			"name": "mysqlwriter",             
			"parameter": {
   
            "column": [ 
"CRT_TM"
			],
                        
			"connection": [{
   
                             "jdbcUrl": 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/141183
推荐阅读
相关标签
  

闽ICP备14008679号