SpringBoot，TDengine时序数据库，实现物联网，车联网大批量数据更新最佳实践。_tdengine-client-3.2.3.0-windows-x64.exe

简介

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台，它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发，对业务运行状态进行实时监测、预警，提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS

官网地址：https://www.taosdata.com/

文档地址：https://docs.taosdata.com/get-started/package/

注意事项

1. 安装步骤及配置文件配置信息请参考官网，有详细说明
   1. 密码设定 alter user root pass ‘youpassword’
   2. 登录： taos 或者 taos -u root -p
2. sql遵循sql规范，对于大部分mysql 语法有较好的兼容性，因为数据记录而生故不存在修改语法，如需修改可直接根据timestamp直接使用insert
3. 数据迁移请参考datax 组件手册，地址：https://gitcode.com/alibaba/datax/tree/master，迁移方法请参考：https://blog.csdn.net/u013810234/article/details/130910778
4. 链接方式分为两种，taosc远程链接及REST 连接链接（此连接方式需要启动taosAdapter服务），原生链接方式效率比rest方式 提升30%
5. 数据建模方面，超级表与子表概念类似分表，语法参考官网，数据查询查询超级表即可，数据插入可用超级表语法或者子表语法都可
6. TDengine无普通字段索引，索引都为标签索引（类型分表规则字段）
7. 函数，mysql 切换为TDengine时，注意不可使用特定语法，或者需要自定义函数（仅支持python 和 c 语言）
8. TDengine字段无默认值设定，自增键，事务等，请程序指定处理
9. 建议：行数据可排除非必要字段，存关键性信息，可增加存储效率及查询效率
10. mybatis中插入不可使用insert标签，报 api 不支持错误，需要使用update标签
11. 分组查询最新数据时，不可使用主键（timestamp标签），作为最新标准
12. 使用druid 数据源时 设置属性druid.stat.mergeSql = false，会mergeSql错误

项目中使用情况

1. pom引入依赖

   <dependency>
             <groupId>com.taosdata.jdbc</groupId>
             <artifactId>taos-jdbcdriver</artifactId>
             <version>3.2.4</version>
    </dependency>
   1
   2
   3
   4
   5

2. 设置JDBC 数据源，例如

   slave:
           # 从数据源开关/默认关闭
           enabled: true
           driverClassName: com.taosdata.jdbc.TSDBDriver
           url: jdbc:TAOS://123.57.23.160:8630/digital_constr?charset=UTF-8&locale=en_US.UTF-8
           username: root
           password: JoygisIot@2023
           validationQuery: select server_status()
   1
   2
   3
   4
   5
   6
   7
   8

3. 添加DruidTaosDataProperties，详情见代码

4. 不可使用 ifnull,ROUND等mysql函数变动请查看CompactionDataMapper.xml.back和CompactionDataMapper.xml，空判断或者小数位，请代码判断

客户端工具

1. 安装TDengine客户端工具 ，地址： https://www.taosdata.com/assets-download/3.0/TDengine-client-3.2.2.0-Windows-x64.exe
2. 安装dbeaver工具（字符串类型请以服务器类型做对比，**script查询可能存在字符集问题，**显示为16进制的ASCLL码,为工具问题）
3. 选择数据源为TDengine
   
4. 原生连接请选择url连接方式，方法如上
5. 也可使用可视化工具TDengineGUI

数据迁移

利用阿里云开源项目 datax 进行数据迁移，需要用到python环境，请自行安装python3

注意： 原生包不支持 TDengine3 请参考上述”注意点“中文档

1. 创建tag 中需要分片的所有表，例如：DataMigration.createTaosTables
2. 将目标表名，添加到datax中
3. 生成迁移数据查询sql，并添加到datax.json 源数据中
4. 执行python datax.py …/job/datax.json