当前位置:   article > 正文

最全ELK日志分析(5),2024年最新非科班程序员求职经历分享_node-v8.2.1.tar.gz

node-v8.2.1.tar.gz

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个副本,如果集群中至少有两个节点,索引将会有5个主分片和另外5个副本分片(1个完全拷贝),这样的话每个索引总共就有10个分片。

三、logstash介绍

Logstash由JRuby语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server),LogStash可配置单一的代理端(agent)与其它开源软件结合,以实现不同的功能。

Logstash的理念

1)Collect:数据输入
2)Enrich:数据加工,如过滤,改写等
3)Transport:数据输出(被其他模块进行调用)

1.logStash的主要组件

1)Shipper:日志收集者  。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常,远程代理端(agent)只需要运行这个组件即可;

2)Indexer:日志存储者。负责接收日志并写入到本地文件。

3)Broker:日志Hub。负责连接多个Shipper和多个Indexer

4)Search and Storage:允许对事件进行搜索和存储;

5)Web Interface:基于Web的展示界面

正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性。

2.LogStash主机分类

1)代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序。

2)中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage)、Web界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储。

四、Kibana介绍

Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。
       使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示 Elasticsearch查询动态。设置Kibana非常简单。无需编写代码,几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

主要功能:
1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。
        Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

2)整合数据。Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

3)复杂数据分析。Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。

4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

5)接口灵活,分享更容易。使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。

6)配置简单。Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。

7)可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache Flume、Fluentd(作为一套收集容器日志的采集器)等。

8)简单数据导出。Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,直观的发现新结果。

五、配置ELK日志分析系统

配置和安装ELK日志分析系统,安装集群方式,2个elasticsearch节点,并监控apache服务器日志。

主机操作系统主机名IP地址主要软件
服务器Centos7.6node1192.168.22.Elasticsearch   Kibana
服务器Centos7.6node2192.168.22.Elasticsearch
服务器Centos7.6apache192.168.22.Logstash Apache

1.配置elasticsearch环境

(1)node1
vim /etc/hosts

java -version

rpm -ivh jdk-8u201-linux-x64.rpm 

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

(2)node2
vim /etc/hosts

rpm -ivh jdk-8u201-linux-x64.rpm 

java -version

vim /etc/profile.d/java.sh			

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile.d/java.sh

java -version
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

2.部署elasticsearch软件

node1
(1)安装elasticsearch—rpm包
cd /opt

rpm -ivh elasticsearch-5.5.0.rpm 
  • 1
  • 2
  • 3
(2)加载系统服务
sudo systemctl daemon-reload

sudo systemctl enable elasticsearch.service

  • 1
  • 2
  • 3
  • 4

(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

17  cluster.name: my-elk-cluster                 集群名字
23  node.name: node1                             节点名字
33  path.data: /data/elk_data                    数据存放路径
37  path.logs: /var/log/elasticsearch/           日志存放路径
43  bootstrap.memory_lock: false                 
不在启动的时候锁定内存(前端缓存。与IOPS-性能测试方式,每秒读写次数相关)

55  network.host: 0.0.0.0                           提供服务绑定的IP地址,0.0.0.0代表所有地址
59  http.port: 9200                                 侦听端口为9200

68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]  集群发现通过单播实现“单播”

grep -v "^#" /etc/elasticsearch/elasticsearch.yml
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

(4)创建数据存放路径并授权
mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/
  • 1
  • 2
  • 3
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service
需要等待一段时间让他启动,可以直接看日志:tail -f /var/log/elasticsearch/elas-cluster.log

netstat -antp | grep 9200
  • 1
  • 2
  • 3
  • 4
(6)查看节点信息

node2
(1)安装elasticsearch—rpm包
cd /opt

rpm -ivh elasticsearch-5.5.0.rpm 
  • 1
  • 2
  • 3
(2)加载系统服务
systemctl daemon-reload    

systemctl enable elasticsearch.service
  • 1
  • 2
  • 3

(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

17  cluster.name: my-elk-cluster                集群名字
23  node.name: node2                            节点名字
33  path.data: /data/elk_data                   数据存放路径
37  path.logs: /var/log/elasticsearch/          数据存放路径
43  bootstrap.memory_lock: false                不在启动的时候锁定内存
55  network.host: 0.0.0.0                       提供服务绑定的IP地址,0.0.0.0代表所有地址
59  http.port: 9200                              侦听端口为9200
68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]       群发现通过单播实现

grep -v "^#" /etc/elasticsearch/elasticsearch.yml
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

(4)创建数据存放路径并授权
mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/

  • 1
  • 2
  • 3
  • 4
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service

netstat -antp | grep 9200
  • 1
  • 2
  • 3
(6)查看节点信息

(7)集群检查健康和状态

3.安装elasticsearch-head插件

node1
yum install gcc gcc-c++ make -y

cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make -j3
make install
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

(1)安装phantomjs前端框架
cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
  • 1
  • 2
  • 3
  • 4

(2)安装elasticsearch-head数据可视化工具
cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install
  • 1
  • 2
  • 3
  • 4

(3)修改主配置文件
cd 
vim /etc/elasticsearch/elasticsearch.yml    下面配置文件,末尾 

http.cors.enabled: true                     开启跨域访问支持,默认为false
http.cors.allow-origin: "*"                 跨域访问允许的域名地址

systemctl restart elasticsearch

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

(4)启动elasticsearch-head  启动服务器
cd /usr/local/src/elasticsearch-head/

npm run start &                         切换到后台运行

netstat -lnupt | grep 9100

netstat -lnupt | grep 9200
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
node2
yum install gcc gcc-c++ make -y

cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make -j3
make install
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

(1)安装phantomjs
cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
  • 1
  • 2
  • 3
  • 4

(2)安装elasticsearch-head

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install
  • 1
  • 2
  • 3
  • 4

(3)修改主配置文件
cd 
vim /etc/elasticsearch/elasticsearch.yml   下面配置文件,末尾

http.cors.enabled: true
http.cors.allow-origin: "*"

systemctl restart elasticsearch
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

(4)启动elasticsearch-head  启动服务器
cd /usr/local/src/elasticsearch-head/
npm run start &                         切换到后台运行

netstat -lnupt | grep 9100

netstat -lnupt | grep 9200
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

es

索引(库)→ 类型(表)→ 文档(字段)

(5)创建索引
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
  • 1

4.安装logstash

做一些日志搜集输出到elasticsearch中

(1)安装Apahce服务(httpd)
yum -y install httpd

systemctl start httpd
  • 1
  • 2
  • 3

(2)安装Java环境
java -version      如果没有,安装yum -y install java
  • 1

(3)安装logstash
cd /opt
rpm -ivh logstash-5.5.1.rpm                             安装logstash
systemctl start logstash.service                        启动logstash
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/  建立logstash软连接
  • 1
  • 2
  • 3
  • 4
  • 5
(4)对接测试

logstash(Apache)与elasticsearch(node)功能是否正常

-f通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
-e后面跟着字符串 该字符串可以被当做logstash的配置(如果是” ”,则默认使用stdin做为输入、stdout作为输出)
-t测试配置文件是否正确,然后退出
(5)Apache服务器

输入采用标准输入 输出采用标准输出

logstash agent 
① input
② filter
③ output

logstash -e 'input { stdin{} } output { stdout{} }'

www.baidu.com                        需要输入www.baidu.com

www.sina.com.cn                      需要输入www.sina.com.cn

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
(6)使用rubydebug显示详细输出,codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

www.baidu.com
  • 1
  • 2
  • 3

使用logstash将信息写入elasticsearch中   输入 输出 对接

    img
    img
    img

    既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

    由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

    需要这份系统化资料的朋友,可以戳这里获取

    ut { stdout{} }’

    www.baidu.com 需要输入www.baidu.com

    www.sina.com.cn 需要输入www.sina.com.cn

    
    ####  (6)使用rubydebug显示详细输出,codec为一种编解码器
    
    
    
    
    • 1
    • 2
    • 3
    • 4
    • 5

    logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’

    www.baidu.com

    
    ![](https://img-blog.csdnimg.cn/6fdcb69c08164ea3a9a87c139437a233.png)
    
    
     
    
    
    使用logstash将信息写入elasticsearch中   输入 输出 对接
    
    
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    [外链图片转存中…(img-2410PrfA-1715467290583)]
    [外链图片转存中…(img-kN7j0HMy-1715467290584)]
    [外链图片转存中…(img-yPal7It4-1715467290584)]

    既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

    由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

    需要这份系统化资料的朋友,可以戳这里获取

    声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/934070
    推荐阅读
    相关标签
      

    闽ICP备14008679号