Pulsar 社区周报 | No.2024-05-10 | 下一场 Meetup 举办地推荐

“

各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。

”

PulsarMeetup 举办地推荐

PulsarMeetup 下一场会来到哪个城市呢？请大家投票推荐呀。

当然如果有场地推荐就更好啦

注：如果还有其他城市推荐，也可以留言告知。当前候选城市列表来源于公众号关注地域归属数据，深圳本次轮空。

Pulsar Weekly Merge Stars

感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

“

@shoothzj,@MonicaMagoniCom,@dao-jun,@merlimat,@eolivelli,@nikhilerigila09,@rdhabalia,@nicoloboschi,@Demogorgon314,@mattisonchao,@poorbarcode,@gvanyao,@dragosvictor,@crossoverJie,@nodece,@massakam,@thetumbled,@lhotari,@BewareMyPower,@hangc0276

”

apache/pulsar

fix

• [fix][offload]修复分层存储中的OOM问题，原因是偏移量缓存无界限 ^[1] @lhotari

• [fix][ml]删除ML的重复字段初始化 ^[2] @dao-jun

• [fix] [broker]修复移除动态配置后没有变化的问题 ^[3] @poorbarcode

• [fix][broker]usedLocallySinceLastReport 应始终被重置。^[4] @nodece

• Revert \"[fix][sec]将 Debezium Oracle 连接器版本升级以避免… ^[5] @lhotari

• [fix][broker]将缺失的opentelemetry-sdk-testing依赖项添加到pulsar-broker-auth-sasl的测试中 ^[6] @BewareMyPower

• [fix] [ml]标记删除因切换游标 ledger 失败而卡住 ^[7] @poorbarcode

• [fix][broker]修复 loadSheddingTask 和 loadResourceQuotaTask 字段的线程安全问题 ^[8] @lhotari

• [fix][test]清除 MockedPulsarServiceBaseTest 字段以防止测试运行时内存泄露 ^[9] @lhotari

• [fix] [broker]重命名为changeMaxReadPositionCount ^[10] @thetumbled

• [fix][io]修复 ES 索引创建。^[11] @nodece

• [fix][admin]修复已弃用的检查 ^[12] @nodece

• [fix][sec]升级Debezium Oracle连接器版本以避免CVE-2023-4586 ^[13] @nikhilerigila09

• [fix][sec]为了避免CVE-2023-4043，升级elasticsearch-java版本。^[14] @nikhilerigila09

• [fix][misc]独立模式关闭时发生空指针异常(NPE) ^[15] @nicoloboschi

• [fix][storage]ReadonlyManagedLedger初始化未填充属性 ^[16] @gvanyao

• [fix] [client]修复消费者应返回配置的批量接收最大消息数 ^[17] @rdhabalia

• [fix]修复Reader可能会因事务中止消息而卡住。^[18] @dao-jun

• [fix][broker]修复地理复制管理员客户端URL ^[19] @Demogorgon314

• [fix][broker]禁用系统主题消息去重 ^[20] @mattisonchao

• [fix][broker]避免卸载系统主题 ^[21] @mattisonchao

新特性

• [improve][offload]在OffsetsCache中替换shaded类的使用 ^[22] @lhotari

• [improve][broker]移除未使用的方法 CompactionRecord.reset ^[23] @dragosvictor

• [improve][broker]禁用OpenTelemetry中的JFR指标报告 ^[24] @dragosvictor

• [improve][ws]为Websocket代理中使用的Pulsar客户端添加内存限制配置 ^[25] @lhotari

• [improve]升级到 Oxia 客户端 0.2.0 ^[26] @merlimat

• [improve][test]在清理时清除 AuthZTest 类中的字段 ^[27] @lhotari

• [improve] [pip]PIP-349：为TTL检查添加附加的SystemCursorNames忽略列表 ^[28] @hangc0276

• [improve][build]升级 OTel 库版本 ^[29] @lhotari

• [improve][build]使用slf4j-bom来统一slf4j版本 ^[30] @lhotari

• [improve][broker]添加日志记录到leader election中 ^[31] @lhotari

• [improve]在错误后使用退避策略重试重新验证ResourceLock ^[32] @merlimat

• [improve][broker]将生产者从主题统计信息的发布者字段中排除，用于地理复制 ^[33] @massakam

others

• [feat][broker]PIP-264：添加Java运行时指标 ^[34] @dragosvictor

apache/bookkeeper

others

• ci：添加java21(LTS)兼容性检查 ^[35] @shoothzj

• 测试：修复在 TestHttpService 中未关闭的 bkHttpServiceProvider ^[36] @shoothzj

• 由于UnsupportedOperationException，需要在JDK 17+上禁用BookKeeperTest中的两个测试。^[37] @shoothzj

• 在dependencyManagement中使用slf4j-bom和log4j-bom ^[38] @lhotari

• 将jackson从2.13.4.20221013升级至2.17.1以解决CVE列表问题。^[39] @shoothzj

• 改进：在 vertx 中替换弃用的方法使用 ^[40] @shoothzj

• 文档：添加缺失的发布新闻 ^[41] @shoothzj

• 修复：当 JournalChannel 未完全初始化时的资源泄露问题。^[42] @shoothzj

• 在网站上添加 BK 4.17.0 到发布版本中。^[43] @eolivelli

• 构建：删除未使用的 cpp 库 rt ^[44] @shoothzj

• 将 WRITE_BUFFER_WATER_MARK 设置应用到 BookieNetty 服务器中的子通道 ^[45] @shoothzj

• doc: 更新 PR 模板以更好地链接到 issue ^[46] @shoothzj

• 构建：修复在Docker镜像中未正确设置的JAVA_HOME ^[47] @shoothzj

• 修复不当的负键生成及测试中的断言更新 ^[48] @shoothzj

• 构建：添加每日的owasp构建 ^[49] @shoothzj

• 修复 BookKeeper 中的 TestTLS 测试以兼容 Windows ^[50] @shoothzj

• 调整 WriteEntryProcessor 中 LedgerFencedException 的日志级别 ^[51] @shoothzj

• 构建：在 jdk11 之后，禁用 TestRegionAwareEnsemblePlacementPolicy 中的 testNewEnsembleBookieWithOneEmptyRegion 方法 ^[52] @shoothzj

• BP-66：支持在重新复制期间对Zookeeper读取进行限流 ^[53] @thetumbled

apache/pulsar-client-go

新特性

• [improve]将 golang-jwt 升级到 v5 ^[54] @nodece

• [Improve]管理员api ForceDeleteSchema ^[55] @crossoverJie

• [Improve]添加管理 api GetListActiveBrokers ^[56] @crossoverJie

apache/pulsar-helm-chart

others

• 将命名空间添加到hpa模板 ^[57] @MonicaMagoniCom

活动新闻

• 2024 年 5月 14 日：2024 Pulsar 欧洲虚拟峰会^[58]

• 2024 年 7 月 26-28 日：阿帕奇软件基金会亚洲大会（CommunityOverCode Asia 2024）Messaging 专题^[59]

参考资料

[1]

[fix][offload]修复分层存储中的OOM问题，原因是偏移量缓存无界限 : https://github.com/apache/pulsar/pull/22679

[2]

[fix][ml]删除ML的重复字段初始化 : https://github.com/apache/pulsar/pull/22676

[3]

[fix] [broker]修复移除动态配置后没有变化的问题 : https://github.com/apache/pulsar/pull/22673

[4]

[fix][broker]usedLocallySinceLastReport 应始终被重置。: https://github.com/apache/pulsar/pull/22672

[5]

Revert "[fix][sec]将 Debezium Oracle 连接器版本升级以避免… : https://github.com/apache/pulsar/pull/22668

[6]

[fix][broker]将缺失的opentelemetry-sdk-testing依赖项添加到pulsar-broker-auth-sasl的测试中 : https://github.com/apache/pulsar/pull/22665

[7]

[fix] [ml]标记删除因切换游标 ledger 失败而卡住 : https://github.com/apache/pulsar/pull/22662

[8]

[fix][broker]修复 loadSheddingTask 和 loadResourceQuotaTask 字段的线程安全问题 : https://github.com/apache/pulsar/pull/22660

[9]

[fix][test]清除 MockedPulsarServiceBaseTest 字段以防止测试运行时内存泄露 : https://github.com/apache/pulsar/pull/22659

[10]

[fix] [broker]重命名为changeMaxReadPositionCount : https://github.com/apache/pulsar/pull/22656

[11]

[fix][io]修复 ES 索引创建。: https://github.com/apache/pulsar/pull/22654

[12]

[fix][admin]修复已弃用的检查 : https://github.com/apache/pulsar/pull/22653

[13]

[fix][sec]升级Debezium Oracle连接器版本以避免CVE-2023-4586 : https://github.com/apache/pulsar/pull/22641

[14]

[fix][sec]为了避免CVE-2023-4043，升级elasticsearch-java版本。: https://github.com/apache/pulsar/pull/22640

[15]

[fix][misc]独立模式关闭时发生空指针异常(NPE) : https://github.com/apache/pulsar/pull/22636

[16]

[fix][storage]ReadonlyManagedLedger初始化未填充属性 : https://github.com/apache/pulsar/pull/22630

[17]

[fix] [client]修复消费者应返回配置的批量接收最大消息数 : https://github.com/apache/pulsar/pull/22619

[18]

[fix]修复Reader可能会因事务中止消息而卡住。: https://github.com/apache/pulsar/pull/22610

[19]

[fix][broker]修复地理复制管理员客户端URL : https://github.com/apache/pulsar/pull/22584

[20]

[fix][broker]禁用系统主题消息去重 : https://github.com/apache/pulsar/pull/22582

[21]

[fix][broker]避免卸载系统主题 : https://github.com/apache/pulsar/pull/22497

[22]

[improve][offload]在OffsetsCache中替换shaded类的使用 : https://github.com/apache/pulsar/pull/22683

[23]

[improve][broker]移除未使用的方法 CompactionRecord.reset : https://github.com/apache/pulsar/pull/22670

[24]

[improve][broker]禁用OpenTelemetry中的JFR指标报告 : https://github.com/apache/pulsar/pull/22669

[25]

[improve][ws]为Websocket代理中使用的Pulsar客户端添加内存限制配置 : https://github.com/apache/pulsar/pull/22666

[26]

[improve]升级到 Oxia 客户端 0.2.0 : https://github.com/apache/pulsar/pull/22663

[27]

[improve][test]在清理时清除 AuthZTest 类中的字段 : https://github.com/apache/pulsar/pull/22661

[28]

[improve] [pip]PIP-349：为TTL检查添加附加的SystemCursorNames忽略列表 : https://github.com/apache/pulsar/pull/22651

[29]

[improve][build]升级 OTel 库版本 : https://github.com/apache/pulsar/pull/22649

[30]

[improve][build]使用slf4j-bom来统一slf4j版本 : https://github.com/apache/pulsar/pull/22646

[31]

[improve][broker]添加日志记录到leader election中 : https://github.com/apache/pulsar/pull/22645

[32]

[improve]在错误后使用退避策略重试重新验证ResourceLock : https://github.com/apache/pulsar/pull/22617

[33]

[improve][broker]将生产者从主题统计信息的发布者字段中排除，用于地理复制 : https://github.com/apache/pulsar/pull/22556

[34]

[feat][broker]PIP-264：添加Java运行时指标 : https://github.com/apache/pulsar/pull/22616

[35]

ci：添加java21(LTS)兼容性检查 : https://github.com/apache/bookkeeper/pull/4350

[36]

测试：修复在 TestHttpService 中未关闭的 bkHttpServiceProvider : https://github.com/apache/bookkeeper/pull/4349

[37]

由于UnsupportedOperationException，需要在JDK 17+上禁用BookKeeperTest中的两个测试。: https://github.com/apache/bookkeeper/pull/4347

[38]

在dependencyManagement中使用slf4j-bom和log4j-bom : https://github.com/apache/bookkeeper/pull/4346

[39]

将jackson从2.13.4.20221013升级至2.17.1以解决CVE列表问题。: https://github.com/apache/bookkeeper/pull/4345

[40]

改进：在 vertx 中替换弃用的方法使用 : https://github.com/apache/bookkeeper/pull/4343

[41]

文档：添加缺失的发布新闻 : https://github.com/apache/bookkeeper/pull/4341

[42]

修复：当 JournalChannel 未完全初始化时的资源泄露问题。: https://github.com/apache/bookkeeper/pull/4340

[43]

在网站上添加 BK 4.17.0 到发布版本中。: https://github.com/apache/bookkeeper/pull/4339

[44]

构建：删除未使用的 cpp 库 rt : https://github.com/apache/bookkeeper/pull/4338

[45]

将 WRITE_BUFFER_WATER_MARK 设置应用到 BookieNetty 服务器中的子通道 : https://github.com/apache/bookkeeper/pull/4337

[46]

doc: 更新 PR 模板以更好地链接到 issue : https://github.com/apache/bookkeeper/pull/4335

[47]

构建：修复在Docker镜像中未正确设置的JAVA_HOME : https://github.com/apache/bookkeeper/pull/4333

[48]

修复不当的负键生成及测试中的断言更新 : https://github.com/apache/bookkeeper/pull/4332

[49]

构建：添加每日的owasp构建 : https://github.com/apache/bookkeeper/pull/4330

[50]

修复 BookKeeper 中的 TestTLS 测试以兼容 Windows : https://github.com/apache/bookkeeper/pull/4329

[51]

调整 WriteEntryProcessor 中 LedgerFencedException 的日志级别 : https://github.com/apache/bookkeeper/pull/4327

[52]

构建：在 jdk11 之后，禁用 TestRegionAwareEnsemblePlacementPolicy 中的 testNewEnsembleBookieWithOneEmptyRegion 方法 : https://github.com/apache/bookkeeper/pull/4323

[53]

BP-66：支持在重新复制期间对Zookeeper读取进行限流 : https://github.com/apache/bookkeeper/pull/4256

[54]

[improve]将 golang-jwt 升级到 v5 : https://github.com/apache/pulsar-client-go/pull/1214

[55]

[Improve]管理员api ForceDeleteSchema : https://github.com/apache/pulsar-client-go/pull/1213

[56]

[Improve]添加管理 api GetListActiveBrokers : https://github.com/apache/pulsar-client-go/pull/1212

[57]

将命名空间添加到hpa模板 : https://github.com/apache/pulsar-helm-chart/pull/494

[58]

Pulsar Virtual Summit Europe 2024: https://sessionize.com/pulsar-virtual-summit-europe-2024

[59]

CommunityOverCode Asia 2024 议题征集正式启动！: https://mp.weixin.qq.com/s/byAbsKwC7XofWwxGBiylCw

联系我们

“

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/

”

诚挚邀请您加入 Apache Pulsar 社区，与全球开发者一起学习、分享和成长，共同塑造云原生消息流平台的未来，一起打造更加开放和高效的开源技术生态！

推荐阅读

干货文章