你好赵伟

这个屌丝很懒，什么也没留下！

热门标签

【运维笔记】kafka跨域通信代理_nginx代理kafka

作者：你好赵伟 | 2024-03-05 17:39:14

踩

nginx代理kafka

kafka跨域通信代理

场景描述

在项目部署过程中遇到kafka需要走代理跨域通信的情景，搭建了一套环境模拟实验，以此记录。

场景描述

两套kafka集群KafkaS和KafkaC分别位于两个不互通的网络域，跨域互访需要经过nginx代理机，现需要确认nginx、kafka的配置。

模拟思路

利用docker在一台虚拟机上创建两个网络不互通的kafka集群，同时在宿主机上部署nginx。

模拟环境说明

基础环境

1、宿主机：Ubuntu 22.10
2、工具：docker、docker-compose

kafka版本

1、kafka镜像/zookeeper镜像：wurstmeister/zookeeper、wurstmeister/kafka
2、实验时版本：zookeeper

环境部署

基础软件安装

安装docker、docker-compose、nginx

sudo apt install docker.io docker-compose nginx -y
1

编写kafka的docker-compose.yml文件

1、网络配置

networks:
  kafka_server_net:
    ipam:
      config:
        - subnet: 172.33.0.0/16
  kafka_client_net:
    ipam:
      config:
        - subnet: 172.34.0.0/16
1
2
3
4
5
6
7
8
9

2、zookeeper配置

  zookeeperS:
    image: wurstmeister/zookeeper
    container_name: zookeeperS
    restart: always
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.10
1
2
3
4
5
6
7

zookeeperC的配置类似。

3、kafka配置

  kafkaS1:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS1
    environment:
      HOSTNAME: kafkaS1
      KAFKA_BROKER_ID: 0
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS1:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    # extra_hosts可以把地址映射添加到hosts文件里，后面有用。其中，统一集群的kafka映射为容器的IP地址，不同集群的kafka映射为宿主机地址，72.130是宿主机IP。
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.11
        
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

kafkaC的配置类似

4、完整的docker-compose文件

version: '3.8'

services:
# kafkaS && zookeeperS
  zookeeperS:
    image: wurstmeister/zookeeper
    container_name: zookeeperS
    restart: always
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.10

  kafkaS1:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS1
    environment:
      HOSTNAME: kafkaS1
      KAFKA_BROKER_ID: 10
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS1:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.11
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128

  kafkaS2:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS2
    environment:
      HOSTNAME: kafkaS2
      KAFKA_BROKER_ID: 11
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS2:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.12
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128

  kafkaS3:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS3
    environment:
      HOSTNAME: kafkaS3
      KAFKA_BROKER_ID: 12
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS3:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.13
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128

# kafkaC && zookeeperC

  zookeeperC:
    image: wurstmeister/zookeeper
    container_name: zookeeperC
    restart: always
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.10

  kafkaC1:
    image: wurstmeister/kafka
    depends_on: [ zookeeperC ]
    container_name: kafkaC1
    environment:
      HOSTNAME: kafkaC1
      KAFKA_BROKER_ID: 20
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaC1:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperC:2181/kafka
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.11
    extra_hosts:
      kafkaS1: 192.168.72.128
      kafkaS2: 192.168.72.128
      kafkaS3: 192.168.72.128
      kafkaC1: 172.34.0.11
      kafkaC2: 172.34.0.12
      kafkaC3: 172.34.0.13

  kafkaC2:
    image: wurstmeister/kafka
    depends_on: [ zookeeperC ]
    container_name: kafkaC2
    environment:
      HOSTNAME: kafkaC2
      KAFKA_BROKER_ID: 21
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaC2:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperC:2181/kafka
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.12
    extra_hosts:
      kafkaS1: 192.168.72.128
      kafkaS2: 192.168.72.128
      kafkaS3: 192.168.72.128
      kafkaC1: 172.34.0.11
      kafkaC2: 172.34.0.12
      kafkaC3: 172.34.0.13

  kafkaC3:
    image: wurstmeister/kafka
    depends_on: [ zookeeperC ]
    container_name: kafkaC3
    environment:
      HOSTNAME: kafkaC3
      KAFKA_BROKER_ID: 22
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaC3:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperC:2181/kafka
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.13
    extra_hosts:
      kafkaS1: 192.168.72.128
      kafkaS2: 192.168.72.128
      kafkaS3: 192.168.72.128
      kafkaC1: 172.34.0.11
      kafkaC2: 172.34.0.12
      kafkaC3: 172.34.0.13

# networks
networks:
  kafka_server_net:
    ipam:
      config:
        - subnet: 172.33.0.0/16
  kafka_client_net:
    ipam:
      config:
        - subnet: 172.34.0.0/16
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158

环境验证

docker-compose up -d启动所有容器后，开始验证环境是否符合要求。
1、网络连通性验证
本场景应当kafkaS和kafkaC集群间不能互访，内部三个节点可以互访；宿主机和两个集群可以互访。
1-1、kafka集群内部互访
先进入容器内：

docker -exec -it kafkaS1 bash

kafka容器没有telnet、ping等工具测试网络，但我们可以用nc：

nc -vz kafkaS2 9092
nc -vz zookeeperS 2181

测试结果1

以上测试应该会回显succeed

1-2、kafka集群间验证

nc -vz kafkaC1 9092

测试结果2

测试结果是refused，是否与我们预期不一样？别慌，这是因为kafkaC1被映射为宿主机的地址，因此是正常的，要测试kafka集群间连通性，应该直接用ip测试，这次结果就是超时了。

nc -vz 172.34.0.11 9092

测试结果3

1-3、代理（宿主机）与kafka的连通性验证
上一部分已经验证过，也可以在宿主机上Telnet端口，正常情况是通的。

2、kafka可用性验证
2-1、分别在两个kafka集群测试统一集群内kafka能否成功收发消息。

# 进入kafka测试脚本所在目录
cd /opt/kafka/bin/
# 创建主题
kafka-topics.sh --create --zookeeper zookeeperS:2181/kafka --replication-factor 1 --partitions 2 --topic testtopic
# 模拟生产消息
kafka-console-producer.sh --topic=testtopic --broker-list kafkaS1:9092,kafkaS2:9092,kafkaS3:9092
# 随便输入内容进行测试
1
2
3
4
5
6
7

# 进入另一个kafka容器，模拟消费
kafka-console-consumer.sh --bootstrap-server kafka01:9092,kafka02:9092,kafka03:9092 --from-beginning --topic testtopic
1
2

消费的窗口能看到生产的消息，则验证通过。测试结果4
至此，模拟环境搭建完成，下面记录如何实现跨域通信。

解决方案

Kafka通信机制

kafka通过二次交互建立会话：服务端在第一次交互时会返回一个地址供客户端建立会话，这个交互机制可以防止中间人攻击，但对走代理的场景来说，配置就比较麻烦了。
一个kafka服务端会提供给多个客户端访问（含不经代理的访问），配置为返回代理地址不太合适，

解决思路

kafka返回相同值给客户端，客户端却需要识别成各不相同、自己能连接的地址，这个问题很自然地就能想到用hosts解决。
docker-compose配置里已经给kafka节点都加上了extra_hosts，并根据连通性做好主机名和IP的映射。

代理配置

映射加上之后，只需要再把nginx代理配好就能成功互访了。
这里我用四层代理进行转发。
在nginx.conf文件里新建stream块，和http同级。
在这里插入图片描述
在nginx配置目录下新建kafkaproxy.conf，具体如下：

# 新建配置文件
sudo nano /etc/nginx/conf.d/stream/kafkaproxy.conf
1
2

配置内容：

upstream KAFKA_SERVER
{
server 172.33.0.11:9092;
server 172.33.0.12:9092;
server 172.33.0.13:9092;
}
server {
listen *:9092;
proxy_pass KAFKA_SERVER;
proxy_connect_timeout 2s;
proxy_timeout 1m;
}

# 配置完毕后重载配置
sudo nginx -s reload
1
2

验证是否满足要求

1、模拟发送消息
进入kafkaS任意节点，模拟发送消息

kafka-console-producer.sh --topic=testtopic --broker-list kafkaS1:9092,kafkaS2:9092,kafkaS3:9092
1

2、模拟接收消息

kafka-console-consumer.sh --bootstrap-server kafkaS1:9092,kafkaS2:9092,kafkaS3:9092 --from-beginning --topic testtopic
1

能相互通信
测试结果5
因为–from-beginning参数没去掉，所以有一些之前产生的消息。
但此时仍然是有问题的，通过代理访问kafka服务端的时候，有时会消费不到数据。这是负载均衡的问题，如果要避免，还是得配置多监听。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/192745?site