devbox
小桥流水78
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

IoTDB 入门教程 基础篇⑩——CSV导入导出工具_iotdb怎么导入数据

作者：小桥流水78 | 2024-08-07 14:29:34

赞

踩

iotdb怎么导入数据

文章目录

一、前文

IoTDB入门教程——导读

如果是使用开源版本IoTDB，那么有如下三种数据同步和备份的方法，可供选择。

如果是使用企业版本IoTDB（TimechoDB），那么一种数据同步的方法就够了，简单方便更好用。

IoTDB支持CSV文件导入导出，这一工具极大地简化了数据库备份、迁移以及同步的流程，为用户带来了极大的便利。

  • 数据库备份与迁移是数据库运维中的核心任务，其重要性不言而喻。
  • 确保备份过程既简单快捷又稳定可靠，对于保障数据安全与业务连续性至关重要。
  • 注意：IoTDB V1.3.2及之后版本使用tools/export-data、tools/import-data
  • 注意：IoTDB V1.3.1及之前版本使用tools/export-csv、tools/import-csv

二、导出

2.1 准备导出服务器

  • 登录数据库
[root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh 
---------------------
Starting IoTDB Cli
---------------------
 _____       _________  ______   ______    
|_   _|     |  _   _  ||_   _ `.|_   _ \   
  | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  | | / .'`\ \  | |      | |  | | |  __'.  
 _| |_| \__. | _| |_    _| |_.' /_| |__) | 
|_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
                                           

Successfully login at 127.0.0.1:6667

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 创建数据库
IoTDB> CREATE DATABASE root.test.test
Msg: The statement is executed successfully.
IoTDB> show databases
+--------------+----+-----------------------+---------------------+---------------------+
|      Database| TTL|SchemaReplicationFactor|DataReplicationFactor|TimePartitionInterval|
+--------------+----+-----------------------+---------------------+---------------------+
|root.test.test|null|                      1|                    1|            604800000|
+--------------+----+-----------------------+---------------------+---------------------+
Total line number = 1
It costs 0.006s

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 写入数据库
IoTDB> INSERT INTO root.test.test(status) values(1)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(1)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(2)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(3)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(11)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(22)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(33)
Msg: The statement is executed successfully.

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 查询数据库
IoTDB> select status from root.test.test
+-----------------------------+---------------------+
|                         Time|root.test.test.status|
+-----------------------------+---------------------+
|2024-07-21T10:43:54.070+08:00|                  1.0|
|2024-07-21T10:44:22.376+08:00|                  1.0|
|2024-07-21T10:44:25.306+08:00|                  2.0|
|2024-07-21T10:44:27.752+08:00|                  3.0|
|2024-07-21T10:44:34.186+08:00|                 11.0|
|2024-07-21T10:44:36.251+08:00|                 22.0|
|2024-07-21T10:44:38.068+08:00|                 33.0|
+-----------------------------+---------------------+
Total line number = 7
It costs 0.119s

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

2.2 导出命令

bash tools/export-csv.sh  -h <ip> -p <port> -u <username> -pw <password> -td <directory> [-tf <time-format> -datatype <true/false> -q <query command> -s <sql file>]

  • 1
  • -datatype
    • true (默认): 在CSV文件的header中时间序列的后面打印出对应的数据类型。例如：Time, root.sg1.d1.s1(INT32), root.sg1.d1.s2(INT64).
    • false: 只在CSV的header中打印出时间序列的名字, Time, root.sg1.d1.s1 , root.sg1.d1.s2
  • -q :
    • 在命令中直接指定想要执行的查询语句。
    • 例如: select * from root.** limit 100, or select * from root.** limit 100 align by device
  • -s :
    • 指定一个SQL文件，里面包含一条或多条SQL语句。如果一个SQL文件中包含多条SQL语句，SQL语句之间应该用换行符进行分割。每一条SQL语句对应一个输出的CSV文件。
  • -td :
    • 为导出的CSV文件指定输出路径。
  • -tf :
    • 指定一个你想要得到的时间格式。时间格式必须遵守ISO 8601标准。如果说你想要以时间戳来保存时间，那就设置为-tf timestamp。
    • 例如: -tf yyyy-MM-dd\ HH:mm:ss or -tf timestamp
  • -linesPerFile :
    • 指定导出的dump文件最大行数，默认值为10000。
    • 例如： -linesPerFile 1
  • -t :
    • 指定session查询时的超时时间，单位为ms

除此之外，如果你没有使用-s和-q参数，在导出脚本被启动之后你需要按照程序提示输入查询语句，不同的查询结果会被保存到不同的CSV文件中。

2.3 执行命令

[root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash tools/export-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -td ./
------------------------------------------
Starting IoTDB Client Export Script
------------------------------------------
ExportCsv> please input query: select status from root.test.test
select status from root.test.test
Export completely!

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

2.4 csv文件

dump0_0.csv就是本次导出的csv文件。

在这里插入图片描述

在这里插入图片描述

三、导入

3.1 准备导入服务器

  • 登录数据库
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh 
---------------------
Starting IoTDB Cli
---------------------
 _____       _________  ______   ______    
|_   _|     |  _   _  ||_   _ `.|_   _ \   
  | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  | | / .'`\ \  | |      | |  | | |  __'.  
 _| |_| \__. | _| |_    _| |_.' /_| |__) | 
|_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
                                           

Successfully login at 127.0.0.1:6667\

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 查询数据库，没有数据
IoTDB> select status from root.test.test
+----+
|Time|
+----+
+----+
Empty set.
It costs 0.184s

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

3.2 上传csv文件

将在2.4小节获得的dump0_0.csv上传到导入服务器中

3.3 导入命令

bash tools/import-csv.sh -h <ip> -p <port> -u <username> -pw <password> -f <xxx.csv> [-fd <./failedDirectory>] [-aligned <true>] [-tp <ms/ns/us>] [-typeInfer <boolean=text,float=double...>] [-linesPerFailedFile <int_value>]

  • 1
  • -f:
    • 指定你想要导入的数据，这里可以指定文件或者文件夹。如果指定的是文件夹，将会把文件夹中所有的后缀为txt与csv的文件进行批量导入。
    • 例如: -f filename.csv
  • -fd:
    • 指定一个目录来存放保存失败的行的文件，如果你没有指定这个参数，失败的文件将会被保存到源数据的目录中，然后文件名是源文件名加上.failed的后缀。
    • 例如: -fd ./failed/
  • -aligned:
    • 是否使用aligned接口？ 默认参数为false。
    • 例如: -aligned true
  • -batch:
    • 用于指定每一批插入的数据的点数。如果程序报了org.apache.thrift.transport.TTransportException: Frame size larger than protect max size这个错的话，就可以适当的调低这个参数。
    • 例如: -batch 100000，100000是默认值。
  • -tp:
    • 用于指定时间精度，可选值包括ms（毫秒），ns（纳秒），us（微秒），默认值为ms。
  • -typeInfer <srcTsDataType1=dstTsDataType1,srcTsDataType2=dstTsDataType2,…>:
    • 用于指定类型推断规则.
    • srcTsDataType 包括 boolean,int,long,float,double,NaN.
    • dstTsDataType 包括 boolean,int,long,float,double,text.
    • 当srcTsDataType为boolean, dstTsDataType只能为boolean或text.
    • 当srcTsDataType为NaN, dstTsDataType只能为float, double或text.
    • 当srcTsDataType为数值类型, dstTsDataType的精度需要高于srcTsDataType.
    • 例如:-typeInfer boolean=text,float=double
  • -linesPerFailedFile :
    • 用于指定每个导入失败文件写入数据的行数，默认值为10000。
    • 例如：-linesPerFailedFile 1

3.4 执行命令

  • 导入csv文件
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash tools/import-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -f dump0_0.csv -fd ./failed
------------------------------------------
Starting IoTDB Client Import Script
------------------------------------------
Import completely!

  • 1
  • 2
  • 3
  • 4
  • 5
  • 登录数据库
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh 
---------------------
Starting IoTDB Cli
---------------------
 _____       _________  ______   ______    
|_   _|     |  _   _  ||_   _ `.|_   _ \   
  | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  | | / .'`\ \  | |      | |  | | |  __'.  
 _| |_| \__. | _| |_    _| |_.' /_| |__) | 
|_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
                                           

Successfully login at 127.0.0.1:6667

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 查询数据是否成功导入
IoTDB> select status from root.test.test
+-----------------------------+---------------------+
|                         Time|root.test.test.status|
+-----------------------------+---------------------+
|2024-07-21T10:43:54.070+08:00|                  1.0|
|2024-07-21T10:44:22.376+08:00|                  1.0|
|2024-07-21T10:44:25.306+08:00|                  2.0|
|2024-07-21T10:44:27.752+08:00|                  3.0|
|2024-07-21T10:44:34.186+08:00|                 11.0|
|2024-07-21T10:44:36.251+08:00|                 22.0|
|2024-07-21T10:44:38.068+08:00|                 33.0|
+-----------------------------+---------------------+
Total line number = 7
It costs 0.164s

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

四、总结

  • 相对而言，还是tsfile文件导入导出更加方便。
  • csv文件导入导出，还需要考虑数据类型，相对麻烦。
  • 1.3.2版本就没有export-csv.sh和import-csv.sh，取而代之的是export-data.sh和import-data.sh。

五、参考

导入导出工具 | IoTDB Website

觉得好，就一键三连呗（点赞+收藏+关注）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小桥流水78/article/detail/943004
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号