Pulsar 社区周报 | No.2024-07-11 | 新的负载均衡算法 AvgShedder 震撼发布

本各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，每周发布。 

新的负载均衡算法 AvgShedder 震撼发布

- New LB AvgShedder -

Apache Pulsar 支持多种先进的负载均衡算法，为应对不同的需求和场景提供了多样化的选择。新推出的负载均衡算法 AvgShedder 进一步优化了这些功能，通过精确调整负载切换，显著提升了系统的均衡性和稳定性。AvgShedder 已经在 BIGO 线上成功运行超过两年，其卓越的表现在提高负载均衡效果和维护系统稳定性方面达到了一个新的高度。

PR 抢先使用：https://github.com/apache/pulsar/pull/22949

注：社区正在发版中。理论支持 Pulsar 2.9 及以上版本，大家可先行 cherry-pick 尝试。更多问题，可加入技术讨论群（公众号菜单，一键入群），和 PR 作者共同讨论。

Pulsar Weekly Merge Stars

- Merge Stars -

感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

“

@thetumbled,@dk2k,@RobertIndie,@lhotari,@ivan-penchev,@poorbarcode,@horizonzy,@dragosvictor,@TakaHiR07,@massakam,@zhouyifan279

”

Pulsar Repository

- Pulsar Github Repo -

apache/pulsar

fix

• [fix][broker]修复lookupService.getTopicsUnderNamespace不能与引号模式一起工作的问题 ^[1] @poorbarcode

• [fix][misc]从pulsar-common中移除RoaringBitmap依赖 ^[2] @lhotari

• [fix][broker]修复 MessageDeduplication 重放超时导致主题加载卡住的问题 ^[3] @TakaHiR07

• [fix][admin]修复尝试使用不正确的 API 对主题进行操作时发生的半删除问题 ^[4] @poorbarcode

• [fix][broker]如果 --stream-storage-port 不是 4181，启动 PulsarStandalone 时会出现错误。^[5] @zhouyifan279

• [fix][client]如果主题的一部分分区已被删除，则修复模式消费者创建时崩溃的问题 ^[6] @poorbarcode

新特性

• [improve][build]将dependency-check-maven-plugin升级到10.0.2版本 ^[7] @lhotari

• [improve][broker]使用RoaringBitmap跟踪个别ack以减少内存使用 ^[8] @lhotari

• [improve][broker]在MessageDeduplication#takeSnapshot中记录异常 ^[9] @TakaHiR07

• [improve] [pip]PIP-364：引入新的负载均衡算法 AvgShedder ^[10] @thetumbled

others

• [feat][misc]PIP-264：将 OpenTelemetry 资源属性复制到 Prometheus 标签 ^[11] @dragosvictor

• [feat][broker]PIP-264：添加 OpenTelemetry 管理的游标指标 ^[12] @dragosvictor

apache/bookkeeper

fix

• [BugFix]修复3个类中的资源泄露问题 ^[13] @dk2k

others

• 修正RackawareEnsemblePlacementPolicyImpl defaultRack，当bookie不可用时。^[14] @horizonzy

• 修复completionObjects泄露问题。^[15] @horizonzy

• 启用 ZooKeeper 客户端以只读模式建立连接 ^[16] @massakam

apache/pulsar-client-go

fix

• [fix]当找不到事务协调器时修复客户端崩溃问题 ^[17] @RobertIndie

新特性

• [improve]当事务协调器客户端中并发操作太多时，返回`ErrMaxConcurrentOpsReached`。^[18] @RobertIndie

others

• 修复事务协调器客户端无法重新连接到broker ^[19] @RobertIndie

• [feat]添加了 logger 接口的 slog 包装器 ^[20] @ivan-penchev

参考资料

[1]

[fix][broker]修复lookupService.getTopicsUnderNamespace不能与引号模式一起工作的问题 : https://github.com/apache/pulsar/pull/23014

[2]

[fix][misc]从pulsar-common中移除RoaringBitmap依赖 : https://github.com/apache/pulsar/pull/23008

[3]

[fix][broker]修复 MessageDeduplication 重放超时导致主题加载卡住的问题: https://github.com/apache/pulsar/pull/23004

[4]

[fix][admin]修复尝试使用不正确的 API 对主题进行操作时发生的半删除问题 : https://github.com/apache/pulsar/pull/23002

[5]

[fix][broker]如果 --stream-storage-port 不是 4181，启动 PulsarStandalone 时会出现错误。: https://github.com/apache/pulsar/pull/22993

[6]

[fix][client]如果主题的一部分分区已被删除，则修复模式消费者创建时崩溃的问题 : https://github.com/apache/pulsar/pull/22854

[7]

[improve][build]将dependency-check-maven-plugin升级到10.0.2版本 : https://github.com/apache/pulsar/pull/23012

[8]

[improve][broker]使用RoaringBitmap跟踪个别ack以减少内存使用 : https://github.com/apache/pulsar/pull/23006

[9]

[improve][broker]在MessageDeduplication#takeSnapshot中记录异常 : https://github.com/apache/pulsar/pull/22994

[10]

[improve] [pip]PIP-364：引入新的负载均衡算法 AvgShedder : https://github.com/apache/pulsar/pull/22949

[11]

[feat][misc]PIP-264：将 OpenTelemetry 资源属性复制到 Prometheus 标签 : https://github.com/apache/pulsar/pull/23005

[12]

[feat][broker]PIP-264：添加 OpenTelemetry 管理的游标指标 : https://github.com/apache/pulsar/pull/23000

[13]

[BugFix]修复3个类中的资源泄露问题 : https://github.com/apache/bookkeeper/pull/4449

[14]

修正RackawareEnsemblePlacementPolicyImpl defaultRack，当bookie不可用时。: https://github.com/apache/bookkeeper/pull/4439

[15]

修复completionObjects泄露问题。: https://github.com/apache/bookkeeper/pull/4285

[16]

启用 ZooKeeper 客户端以只读模式建立连接 : https://github.com/apache/bookkeeper/pull/4244

[17]

[fix]当找不到事务协调器时修复客户端崩溃问题 : https://github.com/apache/pulsar-client-go/pull/1241

[18]

[improve]当事务协调器客户端中并发操作太多时，返回ErrMaxConcurrentOpsReached。: https://github.com/apache/pulsar-client-go/pull/1242

[19]

修复事务协调器客户端无法重新连接到broker : https://github.com/apache/pulsar-client-go/pull/1237

[20]

[feat]添加了 logger 接口的 slog 包装器 : https://github.com/apache/pulsar-client-go/pull/1234

热点推荐

REVIEW

参与问卷赢百页小册《Apache Pulsar 调优指南》

联系 PulsarBot 报名成为社区志愿者

最新 Pulsar 岗位招聘，快来点击（公众号菜单-联系社区-名企直达）

联系社区

微信号：pulsarbot

视频号：AscentStream谙流科技

结尾

- The End -