数据通过logstash写入clickhouse详解_logstash clickhouse

最近由于需要向clickhouse导入数据，数据规模较大，考虑传输工具的效率。因此logstash暂入候选名单。网上资料本文讲解插件的用法调试的过程。提供详细的案例调试代码，遇到的message=>"Bad Request", :response=>"Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (while read the value of key id): (at row 1)\n (version 20.4.5.36 (official build))问题解析。供各位参考。

整合好的插件下载地址：https://download.csdn.net/download/x443557730/12549865

最终实现效果：

一、插件安装

下载

据说可以通过以下方式安装，不过我没成功。

bin/logstash-plugin install logstash-output-clickhouse

github插件下载地址：

https://github.com/mikechris/logstash-output-clickhouse

git clone https://github.com/mikechris/logstash-output-clickhouse.git

编译

gem build logstash-output-clickhouse.gemspec