当前位置:   article > 正文

项目实战 :基于kafka的web日志收集平台_基于kafka的web采集

基于kafka的web采集

日志收集分析平台

完整架构图

日志收集平台流程图.png

一、环境准备

1.准备好3台虚拟机搭建nginx和kafka集群

2.修改三台机器的主机名

# 永久修改主机名 或者也可以选择修改/etc/hostname文件
[root@wh ~]# hostnamestl set-hostname nginx-kafka01
# 重新登录,加载主机名
[root@nginx-kafka01 ~]# su 
[root@nginx-kafka02 ~]# hostnamestl set-hostname nginx-kafka02
[root@nginx-kafka03 ~]# hostnamestl set-hostname nginx-kafka03
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

3.配置ip地址和dns(步骤可参考手工配置ip地址https://blog.csdn.net/weixin_50426379/article/details/125790311?spm=1001.2014.3001.5501)

dhcp动态分配ip地址,重启之后ip地址可能会发生变化,这样导致后面的配置文件里面的ip也要修改,会比较麻烦

[root@nginx-kafka01 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33 
BOOTPROTO="none"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.72.130
PREFIX=24
GATEWAY=192.168.72.2
DNS1=114.114.114.114
[root@nginx-kafka02 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="none"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.72.129
PREFIX=24
GATEWAY=192.168.72.2
DNS1=114.114.114.114
[root@nginx-kafka03 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="none"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.72.140
PREFIX=24
GATEWAY=192.168.72.2
DNS1=114.114.114.114

[root@nginx-kafka01 ~]# cat /etc/resolv.conf
; generated by /usr/sbin/dhclient-script
search localdomain 168.72.137
nameserver 114.114.114.114
# /etc/resolv.conf 指定本地域名服务器114.114.114.114
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

4.每台机器上都写好域名解析

[root@nginx-kafka01 ~]# cat /etc/hosts #本地ip和域名的映射关系
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.72.130 nginx-kafka01  # ip 主机名 的格式
192.168.72.129 nginx-kafka02
192.168.72.140 nginx-kafka03

# DNS解析过程:
1. 浏览器的缓存
2. 本地的hosts文件  --linux /etc/hosts
3. 请求本地域名服务器  --linux /etc/resolv.conf

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

5.每台机器上都安装基本软件

[root@nginx-kafka01 ~]# yum install wget lsof vim -y
  • 1

6.每台机器上都安装时间同步服务

yum -y install chrony     # 安装chrony
systemctl enable chronyd  # 设置chrony为开机启动,disable关闭开机自启
systemctl start chronyd   # 开启chronyd服务 
# 设置时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 如果是同一文件就不用复制了
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

7.关闭防火墙和selinux

[root@nginx-kafka01 ~]# systemctl stop firewalld 
[root@nginx-kafka01 ~]# systemctl disable firewalld
# 关闭selinux:
[root@nginx-kafka01 ~]# vim /etc/selinux/config
# 修改下面这行配置
SELINUX=disabled

# selinux关闭 需要重启机器

# selinux 是linux系统内核里一个跟安全相关的子系统
# 规则非常繁琐,一般日常工作里都是关闭的
selinux有三种模式
enforcing   强制模式,必须按照规则
permissive  宽容模式,有的允许,有的不允许
disabled    关闭模式,关闭所有selinu规则

# 查看是否生效
[root@nginx-kafka01 ~]# getenforce
Disabled
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

二、nginx搭建

1.安装好epel源和nginx:

[root@nginx-kafka01 ~]# yum install epel-release -y
[root@nginx-kafka01 ~]# yum install  nginx -y
  • 1
  • 2

2.启动nginx

# 启动
[root@nginx-kafka01 ~]# systemctl start nginx
设置开机自启
[root@nginx-kafka01 ~]# systemctl enable nginx
  • 1
  • 2
  • 3
  • 4
# 查看开机自启的服务
[root@nginx-kafka01 nginx]# cd /etc/systemd/system/multi-user.target.wants/
[root@nginx-kafka01 multi-user.target.wants]# ls
nginx.service
  • 1
  • 2
  • 3
  • 4

3.编辑配置文件

[root@nginx-kafka01 ~]# cd /etc/nginx/
[root@nginx-kafka01 nginx]# ls
nginx.conf    
[root@nginx-kafka01 nginx]# cat nginx.conf
...              #全局块

events {
            #events块
   ...
}

http      #http块
{
   
    ...   #http全局块
    server        #server块
    {
    
        ...       #server全局块
        location [PATTERN]   #location块
        {
   
            ...
        }
        location [PATTERN] 
        {
   
            ...
        }
    }
    server
    {
   
      ...
    }
  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号