知新_RL

这个屌丝很懒，什么也没留下！

热门标签

替代ELK：ClickHouse+Kafka+FlieBeat才是最绝的

作者：知新_RL | 2024-08-03 15:34:39

踩

替换elk框架

点击上方“芋道源码”，选择“设为星标”

管她前浪，还是后浪？

能浪的浪，才是好浪！

每天 10:33 更新文章，每天掉亿点点头发...

源码精品专栏

来源：juejin.cn/post/7120880190003085320

背景

saas业务业务未来需要业务管理、业务管理等业务能力。

为了平台系统能力、我们需要完善数据集来帮助运营分析活动效果、提升运营能力。

如果在实际过程中直接部署系统，对于用户来说，将是一个巨大的数据比较能力的服务器。我们在开发中使用折中方案完善数据分析。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

项目地址：https://gitee.com/zhijiantianya/ruoyi-vue-pro
视频教程：https://doc.iocoder.cn/video/

Elasticsearch 与 ClickHouse

ClickHouse是一款系统列式对数据库管理的测试，我们使用ClickHouse进行了以下优势：

①ClickHouse 输入商品大

单服务器记录写入量在 50MB 到 50MB/秒，记录写入超过 60w 个数，是 ES 的 5 倍以上。

在 ES 中比较常见的写 Rejected 导致数据丢失、写入延迟等问题，在 ClickHouse 中不容易发生。

②查询速度快

网页缓存中的快速数据，在页面缓存中的快速查询单 2-30GB/查询速度；没有在的情况下，查询查询结果的查询速度和数据查询速度比 ES ClickHouse 5-30倍以上。

③点击费用比ES费用多少

Click House 的 ES 高，同样数据占用的计算机空间比 ES 的 1/0 使用 1/03 次，可以节省空间的同时，也能有效地减少碳 IO，这也是 Click 查询效率更高的原因之一。

点击使用House的内存资源，可以比用CPU的资源。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

项目地址：https://gitee.com/zhijiantianya/yudao-cloud
视频教程：https://doc.iocoder.cn/video/

代码：62。DB::Exception：[10.74.244.57:9000] 上出现错误：代码：62.DB::Exception：在处理“/clickhouse/tables/default/”中的替换时，配置中没有宏“碎片” bi_inner_log_local/{shard}' at '50' 或宏在这里不受支持。（SYNTAX_ERROR）（版本 22.5.2.53（官方版本））。(SYNTAX_ERROR) (版本 22.5.2.53 (正式版))


创建本地表（使用复制去重表引擎）
create table default.bi_inner_log_local ON CLUSTER clickhouse_cluster (
    log_uuid   String ,
    date_partition   UInt32 ,
    event_name   String ,
    activity_name   String ,
    credits_bring   Int16 ,
    activity_type   String ,
    activity_id   UInt16 
) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/default/bi_inner_log_local/{shard}','{replica}')
  PARTITION BY date_partition
  ORDER BY (event_name,date_partition,log_uuid)
   SETTINGS index_granularity = 8192;

解决方案：在不同的clickhouse节点上配置不同的分片，每个节点的分片名称不能一致。


<macros>
        <shard>01</shard>
        <replica>example01-01-1</replica>
    </macros>

3：clickhouse中节点数据已经存在

代码：253。DB::Exception：出现错误：代码：253。DB::Exception：副本/clickhouse/tables/default/bi_inner_log_local/01/replicas/example01-01-1 已存在。(REPLICA_IS_ALREADY_EXIST)（版本 22.5.2.53（官方版本））。（REPLICA_IS_ALREADY_EXIST）（版本 22.5.2.53（官方构建））

解决方案：进入zookeeper客户端删除相关节点，然后再重新创建ReplicatedReplaceingMergeTree表。这样可以保障每一个clickhouse节点去消费kafka分区的数据。

③点击房屋创建聚会表

日志（根据日志_uuid 分发给数据，相同的日志_uuid 会发送到同一时间的数据分片上重发）：


CREATE TABLE default.bi_inner_log_all ON CLUSTER clickhouse_cluster AS default.bi_inner_log_local
ENGINE = Distributed(clickhouse_cluster, default, bi_inner_log_local, xxHash32(log_uuid));

4：自动查询表无法查询

代码：516。DB::Exception：从 10.74.244.57:9000 接收。DB::Exception：默认值：身份验证失败：密码不正确或没有该名称的用户。(AUTHENTICATION_FAILED) (版本 22.5.2.53 (正式版))

解决方案：


<!--分布式表配置-->
 <remote_servers>
       <clickhouse_cluster> <!--集群名称, 可以自定义, 后面在新建库、表的时候需要用到集群名称-->
     <shard>
    <!--内部复制(默认false), 开启后, 在分布式表引擎下, 数据写入时-->
                        <!--每个分片只会去寻找一个节点写, 并不是每个都写-->
                        <internal_replication>true</internal_replication>
                        <replica>
                            <host>ip1</host>
                            <port>9000</port>
                                    <user>default</user>
                                    <password>xxxx</password>
                        </replica>
                    </shard>
                    <shard>
                        <internal_replication>true</internal_replication>
                        <replica>
                            <host>ip2</host>
                            <port>9000</port>
                                    <user>default</user>
                                    <password>xxxx</password>
                        </replica>
                    </shard>
                </clickhouse_cluster>
        </remote_servers>

④点击房屋创建物化视图

创建物化物，把查看 Kafka 消费表消费的同步 ClickHouse 表格数据表。


CREATE MATERIALIZED VIEW default.view_bi_inner_log ON CLUSTER clickhouse_cluster TO default.bi_inner_log_all AS 
SELECT 
    log_uuid ,
date_partition ,
event_name ,
activity_name ,
credits_bring ,
activity_type ,
activity_id 
FROM default.kafka_clickhouse_inner_log;

小结：不负有心人，解决完以上所有的问题。数据流转通了！这里所有组件都是功夫文档比较新的版本，所以过程中问题的解决基本都是官方或操作手册一步一步的解决。

总结一句话：问题遇到去解决或--帮助去解决，慢慢的你的官方升华。

总结

整个部署的过程中有一个坑，特别是filebeat yml的参数设置和clickhouse的配置说明。

很久没有更新了，经常看到博客35岁以后办的问题。说实话我自己也不会好以后怎么办，核心还是持续的&输出。不断的博客制造了自己的护城河，不管是技术专家、业务专家、架构、管理等。

个人建议如果能经常写代码就奋战一线，管理彻底与公司绑定。

如果所在行业的公司还是已经选择了整体的商业影响力，个人觉得可以奋战在一线，未来的工作。考量更多的影响力、感觉、技术架构。现在的我 35，从容的面对一天。

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

最近更新《芋道 SpringBoot 2.X 入门》系列，已经 101 余篇，覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。


文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/923594

替代ELK：ClickHouse+Kafka+FlieBeat才是最绝的

背景

Elasticsearch 与 ClickHouse

成本分析

环境部署

动物园管理员聚集部署

卡夫卡基地部署

FileBeat 部署

clickhouse 部署

总结