Doris 数据集成 Kafka

Doris 数据集成 Kafka

这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子

Doris基础篇—数据集成 Catalog

目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris 。

关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下

Doris 案例篇—Doris在日志分析中的应用

使用Flink 和 Doris 的ROUTINE LOAD 都可以实现，但是二者之间的效率差异我没有去对比，我直接使用的ROUTINE LOAD,后面如果有性能问题或者有比较大的延迟，我们可以再去尝试一下其他方案，因为ROUTINE LOAD 不需要引入其他组件，使用起来简单一些。

kafka 环境搭建

这里我使用的是kafka_2.13-3.7.0，使用是zookeeper 模式，当然现在不需要zookeeper 也可以了，可以使用raft模式，这样可以