大数据最全ELK日志分析_elk数据分析
赞
踩
网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。
为此，elasticsearch将索引分片复制一份或多份，称之为分片副本或副本。
副本也有两个最主要原因
a. 高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b. qps性能，增大吞吐量，搜索可以并行在所有副本上执行。总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。在索引创建的时候，
可以在任何时候动态地改变副本的数量，但是事后不能改变分片的数量。
默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个副本，如果集群中至少有两个节点，索引将会有5个主分片和另外5个副本分片（1个完全拷贝），这样的话每个索引总共就有10个分片。
三、logstash介绍
Logstash由JRuby语言编写，基于消息（message-based）的简单架构，并运行在Java虚拟机（JVM）上。不同于分离的代理端（agent）或主机端（server），LogStash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。
Logstash的理念
1)Collect：数据输入
2)Enrich：数据加工，如过滤，改写等
3)Transport：数据输出（被其他模块进行调用）1.logStash的主要组件
1)Shipper：日志收集者 。负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端（agent）只需要运行这个组件即可；
2)Indexer：日志存储者。负责接收日志并写入到本地文件。
3)Broker：日志Hub。负责连接多个Shipper和多个Indexer
4)Search and Storage：允许对事件进行搜索和存储；
5)Web Interface：基于Web的展示界面
正是由于以上组件在LogStash架构中可独立部署，才提供了更好的集群扩展性。
2.LogStash主机分类
1)代理主机（agent host）：作为事件的传递者（shipper），将各种日志数据发送至中心主机；只需运行Logstash 代理（agent）程序。
2)中心主机（central host）：可运行包括中间转发器（Broker）、索引器（Indexer）、搜索和存储器（Search and Storage）、Web界面端（Web Interface）在内的各个组件，以实现对日志数据的接收、处理和存储。
四、Kibana介绍
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示 Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。主要功能：
1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。2)整合数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3)复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
5)接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
6)配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。
7)可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、Fluentd（作为一套收集容器日志的采集器）等。
8)简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，直观的发现新结果。
五、配置ELK日志分析系统
配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志。
主机 操作系统 主机名 IP地址 主要软件 服务器 Centos7.6 node1 192.168.22. Elasticsearch Kibana 服务器 Centos7.6 node2 192.168.22. Elasticsearch 服务器 Centos7.6 apache 192.168.22. Logstash Apache 1.配置elasticsearch环境
(1)node1
vim /etc/hosts java -version rpm -ivh jdk-8u201-linux-x64.rpm vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_91 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH source /etc/profile
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
(2)node2
vim /etc/hosts rpm -ivh jdk-8u201-linux-x64.rpm java -version vim /etc/profile.d/java.sh export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH source /etc/profile.d/java.sh java -version
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
2.部署elasticsearch软件
node1
(1)安装elasticsearch—rpm包
cd /opt rpm -ivh elasticsearch-5.5.0.rpm
- 1
- 2
- 3
(2)加载系统服务
sudo systemctl daemon-reload sudo systemctl enable elasticsearch.service
- 1
- 2
- 3
- 4
(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-elk-cluster 集群名字 23 node.name: node1 节点名字 33 path.data: /data/elk_data 数据存放路径 37 path.logs: /var/log/elasticsearch/ 日志存放路径 43 bootstrap.memory_lock: false 不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关） 55 network.host: 0.0.0.0 提供服务绑定的IP地址，0.0.0.0代表所有地址 59 http.port: 9200 侦听端口为9200 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] 集群发现通过单播实现“单播” grep -v "^#" /etc/elasticsearch/elasticsearch.yml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
(4)创建数据存放路径并授权
mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/
- 1
- 2
- 3
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service 需要等待一段时间让他启动，可以直接看日志：tail -f /var/log/elasticsearch/elas-cluster.log netstat -antp | grep 9200
- 1
- 2
- 3
- 4
(6)查看节点信息
node2
(1)安装elasticsearch—rpm包
cd /opt rpm -ivh elasticsearch-5.5.0.rpm
- 1
- 2
- 3
(2)加载系统服务
systemctl daemon-reload systemctl enable elasticsearch.service
- 1
- 2
- 3
(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-elk-cluster 集群名字 23 node.name: node2 节点名字 33 path.data: /data/elk_data 数据存放路径 37 path.logs: /var/log/elasticsearch/ 数据存放路径 43 bootstrap.memory_lock: false 不在启动的时候锁定内存 55 network.host: 0.0.0.0 提供服务绑定的IP地址，0.0.0.0代表所有地址 59 http.port: 9200 侦听端口为9200 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] 群发现通过单播实现 grep -v "^#" /etc/elasticsearch/elasticsearch.yml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
(4)创建数据存放路径并授权
mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/
- 1
- 2
- 3
- 4
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service netstat -antp | grep 9200
- 1
- 2
- 3
(6)查看节点信息
(7)集群检查健康和状态
3.安装elasticsearch-head插件
node1
yum install gcc gcc-c++ make -y cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j3 make install
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
(1)安装phantomjs前端框架
cd /usr/local/src/ tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin
- 1
- 2
- 3
- 4
(2)安装elasticsearch-head数据可视化工具
cd /usr/local/src/ tar xzvf elasticsearch-head.tar.gz cd elasticsearch-head/ npm install
- 1
- 2
- 3
- 4
(3)修改主配置文件
cd vim /etc/elasticsearch/elasticsearch.yml 下面配置文件，末尾 http.cors.enabled: true 开启跨域访问支持，默认为false http.cors.allow-origin: "*" 跨域访问允许的域名地址 systemctl restart elasticsearch
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
(4)启动elasticsearch-head 启动服务器
cd /usr/local/src/elasticsearch-head/ npm run start & 切换到后台运行 netstat -lnupt | grep 9100 netstat -lnupt | grep 9200
- 1
- 2
- 3
- 4
- 5
- 6
- 7
node2
yum install gcc gcc-c++ make -y cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j3 make install
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
(1)安装phantomjs
cd /usr/local/src/ tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin
- 1
- 2
- 3
- 4
(2)安装elasticsearch-head
cd /usr/local/src/ tar xzvf elasticsearch-head.tar.gz cd elasticsearch-head/ npm install
- 1
- 2
- 3
- 4
(3)修改主配置文件
cd vim /etc/elasticsearch/elasticsearch.yml 下面配置文件，末尾 http.cors.enabled: true http.cors.allow-origin: "*" systemctl restart elasticsearch
- 1
- 2
- 3
- 4
- 5
- 6
- 7
(4)启动elasticsearch-head 启动服务器
cd /usr/local/src/elasticsearch-head/ npm run start & 切换到后台运行 netstat -lnupt | grep 9100 netstat -lnupt | grep 9200
- 1
- 2
- 3
- 4
- 5
- 6
es
索引（库）→ 类型（表）→ 文档（字段）
(5)创建索引
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
- 1
4.安装logstash
做一些日志搜集输出到elasticsearch中
(1)安装Apahce服务（httpd）
yum -y install httpd systemctl start httpd
- 1
- 2
- 3
(2)安装Java环境
java -version 如果没有,安装yum -y install java
- 1
(3)安装logstash
cd /opt rpm -ivh logstash-5.5.1.rpm 安装logstash systemctl start logstash.service 启动logstash systemctl enable logstash.service ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 建立logstash软连接
- 1
- 2
- 3
- 4
- 5
(4)对接测试
logstash（Apache）与elasticsearch（node）功能是否正常
-f 通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash -e 后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出） -t 测试配置文件是否正确，然后退出 (5)Apache服务器
输入采用标准输入 输出采用标准输出
logstash agent
① input
② filter
③ outputlogstash -e 'input { stdin{} } output { stdout{} }' www.baidu.com 需要输入www.baidu.com www.sina.com.cn 需要输入www.sina.com.cn
- 1
- 2
- 3
- 4
- 5
- 6
(6)使用rubydebug显示详细输出，codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
- 1
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
件是否正确，然后退出 |
(5)Apache服务器
输入采用标准输入 输出采用标准输出
logstash agent
① input
② filter
③ outputlogstash -e 'input { stdin{} } output { stdout{} }' www.baidu.com 需要输入www.baidu.com www.sina.com.cn 需要输入www.sina.com.cn
- 1
- 2
- 3
- 4
- 5
- 6
(6)使用rubydebug显示详细输出，codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
- 1
[外链图片转存中…(img-gHl6yZTv-1714766951175)]
[外链图片转存中…(img-CZ4rwMqR-1714766951175)]
[外链图片转存中…(img-KRuqqg7g-1714766951176)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
