当前位置:   article > 正文

【中间件】Pulsar集群安装_pulsar安装教程

pulsar安装教程

目录

一、Pulsar介绍

1.1 Pulsar基本介绍

1.2 Pulsar架构

Producer & Consumer

Apache Zookeeper

Pulsar Brokers

Apache Bookkeeper

二、Zookeeper集群安装

三、Pulsar集群安装

3.1 bookie与broker配置

3.1.1 修改bookie配置文件

3.1.2 修改broker配置文件

3.2 元数据初始化

3.3 服务启动

3.4 消息收发测试

四、Pulsar admin manger图形界面安装


一、Pulsar介绍


1.1 Pulsar基本介绍


pulsar是一个云原生企业级的发布订阅(pub-sub)消息系统,最初由Yahoo开发,并于2016年底开源,现在是Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多,助力Yahoo的主要应用,如Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。

Apache Pulsar的功能与特性:

  • 多租户模式
  • 灵活的消息系统
  • 云原生架构
  • segmented Sreams(分片流)
  • 支持跨地域复制

1.2 Pulsar架构


Pulsar官网: Apache Pulsar | Apache Pulsar

Producer & Consumer

Pulsar客户端包含一个消费者和一个生产者。生产者写入消息到某个主题。消费者从主题读取消息,并确认特定消息或所有特定消息。

Apache Zookeeper

Pulsar和BookKeeper使用Apache ZooKeeper保存节点之间协调的元数据,例如每个主题的分类账列表,每个分类账的片段,以及主题包到代理的映射。它是一个由高可用性和可复制的服务器组成的集群(通常是3个)。

Pulsar Brokers

主题(即分区)在Brokers代理之间进行划分。代理接收主题的消息,并将它们附加到托管在Bookkeeper集群上的主题的活动虚拟文件(又称分类账)。代理从缓存(大部分)或BookKeeper读取消息,并将它们分发给消费者。代理也接收消息确认并将其持久化到BookKeeper集群。代理是无状态的(不使用/不需要磁盘)。

Apache Bookkeeper

Apache BookKeeper是一个称为bookies的节点集群。每个虚拟文件(又名账本)被分成连续的段,默认情况下,每个段由3个bookies 保存(由客户端复制,即经纪人)。由于不需要在它们之间进行数据重组(移动),运营商可以快速添加博彩公司。它们立即共享传入的写负载。

测试环境

主机名

IP

角色

ddp01

192.168.2.76

zk,bookie,broker

ddp02

192.168.2.78

zk,bookie,broker

ddp03

192.168.2.80

zk,bookie,broker

JDK版本兼容性如下:


二、Zookeeper集群安装


使用DataSophon 安装Zookeeper ,也可以直接tar包安装参考文档

选择服务

选择server节点

配置信息确认

安装完成

查看ZK配置信息,ZK安装路径:/opt/datasophon/zookeeper

zoo.cfg 配置文件

  1. clientPort=2181
  2. dataDir=/data/zookeeper
  3. dataLogDir=/data/log
  4. tickTime=2000
  5. initLimit=10
  6. syncLimit=5
  7. server.1=192.168.2.76:2888:3888
  8. server.2=192.168.2.78:2888:3888
  9. server.3=192.168.2.80:2888:3888
  10. skipACL=yes

三、Pulsar集群安装


pulsar版本

Pulsar下载

  1. # 3台创建 并同步安装包
  2. mkdir -p /opt/module
  3. wget https://archive.apache.org/dist/pulsar/pulsar-2.8.1/apache-pulsar-2.8.1-bin.tar.gz
  4. tar -zxvf apache-pulsar-2.8.1-bin.tar.gz -C /opt/module
  5. cd /opt/module
  6. ln -s apache-pulsar-2.8.1-bin puslar_2.8.1

可以验证ZooKeeper节点是否启动成功

  1. cd /opt/module/apache-pulsar-2.8.1
  2. ./bin/pulsar zookeeper-shell -server 192.168.2.76:12181
  3. ./bin/pulsar zookeeper-shell -server 192.168.2.78:12181
  4. ./bin/pulsar zookeeper-shell -server 192.168.2.80:12181

如下进入了 ZK客户端,查看Znode节点

3.1 bookie与broker配置


3.1.1 修改bookie配置文件


  1. # 分别每个节点执行
  2. # 创建bookie所需要目录
  3. mkdir -p /opt/module/pulsar_2.8.1/tmp/journal
  4. mkdir -p /opt/module/pulsar_2.8.1/tmp/ledger
  5. vim /opt/module/puslar_2.8.1/conf/bookkeeper.conf
  6. # advertisedAddress 修改为服务器对应的ip,在另外两台服务器也做对应的修改advertisedAddress=192.168.1.193
  7. advertisedAddress=192.168.2.76
  8. # 修改以下两个文件目录地址
  9. journalDirectory=/opt/module/pulsar_2.8.1/tmp/journal
  10. ledgerDirectories=/opt/module/pulsar_2.8.1/tmp/ledger
  11. # 修改zk地址和端口信息
  12. zkServers=192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181
  13. #httpServerPort默认也是8000,建议修改,我这里修改为:8100
  14. prometheusStatsHttpPort=8100

3.1.2 修改broker配置文件


  1. cd /opt/module/pulsar_2.8.1
  2. vim conf/broker.conf
  3. 修改第44行: 更改为本地ip地址
  4. advertisedAddress=192.168.2.76
  5. 修改第125行: 修改集群的名称
  6. clusterName=pulsar-cluster
  7. 修改第1794行: 配置zookeeper地址
  8. zookeeperServers=192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181
  9. 修改第73行: 配置zookeeper地址
  10. configurationStoreServers=192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181
  11. 修改第73行 http请求服务端口
  12. webServicePort=18080

同步到其它两台

  1. scp -r apache-pulsar-2.7.5 ddp02:/opt/module
  2. scp -r apache-pulsar-2.7.5 ddp03:/opt/module
  3. cd /opt/module
  4. ln -s apache-pulsar-2.8.1-bin puslar_2.8.1

3.2 元数据初始化


在其中一个 zookeeper 节点的机器上,初始化集群元数据(总共只需执行一次)

  1. #先查看端口占用情况,避免后面启动时会报端口占用错误
  2. netstat -tpnl |grep 8080
  3. netstat -tpnl |grep 8443
  4. netstat -tpnl |grep 6650
  5. netstat -tpnl |grep 6651
  6. bin/pulsar initialize-cluster-metadata \
  7. --cluster pulsar-cluster \
  8. --zookeeper 192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 \
  9. --configuration-store 192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 \
  10. --web-service-url http://192.168.2.76:18080,192.168.2.78:18080,192.168.2.80:18080 \
  11. --web-service-url-tls https://192.168.2.76:8443,192.168.2.78:8443,192.168.2.80:8443 \
  12. --broker-service-url pulsar://192.168.2.76:6650,192.168.2.78:6650,192.168.2.80:6650 \
  13. --broker-service-url-tls pulsar+ssl://192.168.2.76:6651,192.168.2.78:6651,192.168.2.80:6651

查看元数据是否初始化成功

  1. #连接任意一台zookeeper,比如:192.168.1.193
  2. ./bin/pulsar zookeeper-shell -server 127.0.0.1:2181
  3. #查询数据
  4. ls /
  5. #显示如下,有bookies,pulsar等信息,表示成功初始化
  6. [admin, bookies, ledgers, managed-ledgers, namespace, stream, zookeeper]

3.3 服务启动


  1. # BookKeeper集群启动
  2. #启动bookie命令,以后台进程启动bookie
  3. ./bin/pulsar-daemon start bookie
  4. # bookie停止命令
  5. ./bin/pulsar-daemon stop bookie
  6. # 验证是否启动成功
  7. ./bin/bookkeeper shell bookiesanity
  8. # 以后台进程启动 broker
  9. ./bin/pulsar-daemon start broker
  10. # broker关闭命令如下:
  11. ./bin/pulsar-daemon stop broker

测试判断broker是否启动成功

  1. ./bin/pulsar-admin --admin-url http://192.168.2.76:18080 brokers list pulsar-cluster

部署正常的话 会显示如下结果

3.4 消息收发测试


  1. #在yx subscription 订阅中 consume 一条消息到topic:yx-tech的命令
  2. ./bin/pulsar-client consume yx-tech -s "yx subscription"

开启另一个终端发送数据,观察订阅者收到数据:content:hello-yx

  1. #生产者发送: 向名称为 my-topic 的 topic 发送一条简单的消息 hello-pulsar
  2. #--messages后面双引号中的内容,若以英文逗号分隔,则消息会分开发送
  3. ./bin/pulsar-client produce yx-tech --messages "hello-yx"

如果消费者可以正常接收到消息就代表安装成功


四、Pulsar admin manger图形界面安装


Pulsar admin manger是基于Plusar的可视化界面,接下来进行安装

  1. wget https://www.apache.org/dyn/closer.lua/pulsar/pulsar-manager/pulsar-manager-0.4.0/apache-pulsar-manager-0.4.0-bin.tar.gz
  2. tar -zxf apache-pulsar-manager-0.4.0-bin.tar.gz -C /home/bigdata/apps/
  3. cd /home/bigdata/apps/apache-pulsar-manager-0.4.0-bin/
  4. # 解压文件
  5. tar -xvf pulsar-manager.tar
  6. # 进入解压后的文件夹
  7. cd pulsar-manager
  8. # 复制文件
  9. cp -r ../dist ui

修改配置文件application.properties根据需要进行属性配置。如果不想修改应文件application.properties,可以通过命令将配置添加到启动参数中。这是Spring引导框架的一个功能。

/bin/pulsar --managerbackend.jwt.Token=Token

启动pulsar

./bin/pulsar-manager

初始化用户名密码

  1. CSRF_TOKEN=$(curl http://localhost:7750/pulsar-manager/csrf-token)
  2. curl \
  3. -H 'X-XSRF-TOKEN: $CSRF_TOKEN' \
  4. -H 'Cookie: XSRF-TOKEN=$CSRF_TOKEN;' \
  5. -H "Content-Type: application/json" \
  6. -X PUT http://localhost:7750/pulsar-manager/users/superuser \
  7. -d '{"name": "admin", "password": "apachepulsar", "description": "test", "email": "username@test.org"}'

http://192.168.2.76:7750/ui/index.html

点击 new Environment, 设置集群环境即可

新建环境,连接pulsar。设置pulsar集群名字,这里是配置文件中的集群名。以及链接URL,这里也是初始化时配置的url。

可以查看和新建namespace 、topic 等

参考文档:

高版本的Pulsar需要

JDK17下载地址:Java Downloads | Oracle 中国

云原生时代消息中间件Pulsar(介绍、集群安装部署、管理页面安装部署) 2-阿里云开发者社区

【pulsar学习】pulsar集群部署及可视化监控部署_学习_hhhSir'blog-华为云开发者联盟

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/790494
推荐阅读
相关标签
  

闽ICP备14008679号