Pulsar 社区周报 | No.2024-06-21 | 7月底CommunityOverCode Asia 2024 杭州见

各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，每周发布。

Pulsar Weekly Merge Stars

感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

Pulsar Weekly Merge Stars

@nodece,@richiefanfan,@lhotari,@dao-jun,@shibd,@liangyepianzhou,@thetumbled,@heesung-sn,@dependabot[bot],@crossoverJie,@jitokim,@dlg99,@poorbarcode,@yyj8,@coderzc,@shoothzj,@ethqunzhong,@dragosvictor,@jiangpengcheng

apache/pulsar

fix

• [fix][fn]为Functions和Connectors的所有producers支持压缩类型和crypto配置 ^[1] @lhotari
• [fix][broker]检查 markDeletePosition 并计算 backlog。^[2] @nodece
• [fix][broker]更新初始化和关闭时间以及其他次要逻辑（仅限ExtensibleLoadManagerImpl） ^[3] @heesung-sn
• [fix][cli]重构脚本以检测主要的Java版本并传递正确的add-opens参数 ^[4] @lhotari
• [fix][test]修复 TableViewBuilderImplTest 空指针异常和无限循环问题 ^[5] @lhotari
• [fix] Revert \"[fix][cli]修复Shell脚本参数传递语法 (#22867) ^[6] @coderzc
• [fix][misc]修正 ClusterDataImpl 类中 tlsAllowInsecureConnection 注释。^[7] @jitokim
• [fix] [broker]当健康检查每次检测到死锁时，broker 将记录一个完整的线程转储。^[8] @yyj8
• [fix][fn]启用 Pulsar Function 运行时的优化 Netty 直接字节缓冲区支持 ^[9] @lhotari
• [fix][broker]修复主题状态问题，即使没有积压，oldestBacklogMessageAgeSeconds的值持续增加。^[10] @shibd
• [fix][cli]修复pulsar-daemon参数passthrough语法 ^[11] @coderzc
• [fix] [broker]修复PersistentTopicsBase中的拼写错误请注意，在修复代码中的拼写错误时，务必确保只修改了注释或文档中的错误，并且没有更改代码逻辑。如果拼写错误位于代码的关键部分，如变量名、函数名或类名等，确保在整个项目中都进行了相应的更新。^[12] @richiefanfan
• [fix][broker]在检查broker是否活跃时，异步返回brokerRegistry.lookupAsync（仅限于ExtensibleLoadManagerImpl）。^[13] @heesung-sn
• [fix] [broker]修复卸载 bundle 计数指标。^[14] @thetumbled
• [fix] [broker]在使用主题级别复制时，远程集群上的消息丢失 ^[15] @poorbarcode
• [fix] [client]修复自HttpLookupService未关闭导致的Pulsar Client资源泄露问题 ^[16] @poorbarcode
• [fix] [broker]如果在调用getPartitionedTopicMetadata时主题不存在，则返回not-found错误。^[17] @poorbarcode

新特性

• [improve][misc]升级 RoaringBitmap 版本至 1.0.6 ^[18] @dao-jun
• [improve][broker]使用RoaringBitmap优化`ConcurrentOpenLongPairRangeSet` ^[19] @dao-jun
• [improve] [pip]PIP-358：让资源权重对于OverloadShedder、LeastLongTermMessageRate、ModularLoadManagerImpl 发挥作用。^[20] @thetumbled
• [improve] [pip]PIP-358：让资源权重为OverloadShedder、LeastLongTermMessageRate、ModularLoadManagerImpl工作。^[21] @thetumbled
• [improve] [broker]PIP-356 支持地理复制从最早位置开始 ^[22] @poorbarcode
• [improve][cli]使用LoadManagerReport替代Object ^[23] @crossoverJie
• [improve][meta]修复在关闭元数据存储时使用 drain API 的无效用法和竞态条件 ^[24] @lhotari

others

• [cleanup][client]移除 TransactionImpl 中不必要的同步范围 ^[25] @dao-jun
• [feat][broker]PIP-264：添加OpenTelemetry代理连接指标 ^[26] @dragosvictor
• [feat][broker]PIP-264：启用 OpenTelemetry 可重用数据内存模式 ^[27] @dragosvictor
• [feat][broker]PIP-264：增加OpenTelemetry生产者指标 ^[28] @dragosvictor
• [feat][broker]PIP-321 在命名空间级别引入 allowed-cluster 功能 ^[29] @liangyepianzhou

apache/bookkeeper

others

• 修复MockLedgerHandle关闭方法中的错误元数据状态 ^[30] @shoothzj
• 修复：正确描述LedgerDirManager的方法 ^[31] @ethqunzhong
• 文档：修复了 build.gradle 描述的失效链接。^[32] @shoothzj
• 构建（依赖项）：在/site3/website中将ws从7.5.7升级到7.5.10 ^[33] @dependabot[bot]
• [test]升级/降级测试 ^[34] @dlg99
• 删除 TestCompatRecoveryNoPassword 中不必要的弃用抑制 ^[35] @shoothzj
• 将DockerUtils中已弃用的getNextTarEntry替换为getNextEntry ^[36] @shoothzj

streamnative/function-mesh

others

• 将一些secrets传递给 ci ^[37] @jiangpengcheng
• 在Java运行器镜像中安装gcompat ^[38] @jiangpengcheng

apache/pulsar-client-node

others

• 将 bracers 从 3.0.2 升级到 3.0.3 ^[39] @dependabot[bot]

活动新闻

• 国内下一场 Meetup 计划将在北京举办，目前正在筹办中，相关合作等信息可联系 Pulsar Bot 咨询。
• 2024 年 7 月 26-28 日：阿帕奇软件基金会亚洲大会（CommunityOverCode Asia 2024）Messaging 专题^[40]

参考资料

[1]

[fix][fn]为Functions和Connectors的所有producers支持压缩类型和crypto配置 :  https://github.com/apache/pulsar/pull/22950

[2]

[fix][broker]检查 markDeletePosition 并计算 backlog。:  https://github.com/apache/pulsar/pull/22947

[3]

[fix][broker]更新初始化和关闭时间以及其他次要逻辑（仅限ExtensibleLoadManagerImpl） :  https://github.com/apache/pulsar/pull/22930

[4]

[fix][cli]重构脚本以检测主要的Java版本并传递正确的add-opens参数 :  https://github.com/apache/pulsar/pull/22927

[5]

[fix][test]修复 TableViewBuilderImplTest 空指针异常和无限循环问题 :  https://github.com/apache/pulsar/pull/22924

[6]

[fix] Revert "[fix][cli]修复Shell脚本参数传递语法 (#22867) :  https://github.com/apache/pulsar/pull/22921

[7]

[fix][misc]修正 ClusterDataImpl 类中 tlsAllowInsecureConnection 注释。:  https://github.com/apache/pulsar/pull/22919

[8]

[fix] [broker]当健康检查每次检测到死锁时，broker 将记录一个完整的线程转储。:  https://github.com/apache/pulsar/pull/22916

[9]

[fix][fn]启用 Pulsar Function 运行时的优化 Netty 直接字节缓冲区支持 :  https://github.com/apache/pulsar/pull/22910

[10]

[fix][broker]修复主题状态问题，即使没有积压，oldestBacklogMessageAgeSeconds的值持续增加。:  https://github.com/apache/pulsar/pull/22907

[11]

[fix][cli]修复pulsar-daemon参数passthrough语法 :  https://github.com/apache/pulsar/pull/22905

[12]

[fix] [broker]修复PersistentTopicsBase中的拼写错误请注意，在修复代码中的拼写错误时，务必确保只修改了注释或文档中的错误，并且没有更改代码逻辑。如果拼写错误位于代码的关键部分，如变量名、函数名或类名等，确保在整个项目中都进行了相应的更新。:  https://github.com/apache/pulsar/pull/22904

[13]

[fix][broker]在检查broker是否活跃时，异步返回brokerRegistry.lookupAsync（仅限于ExtensibleLoadManagerImpl）。:  https://github.com/apache/pulsar/pull/22899

[14]

[fix] [broker]修复卸载 bundle 计数指标。:  https://github.com/apache/pulsar/pull/22895

[15]

[fix] [broker]在使用主题级别复制时，远程集群上的消息丢失:  https://github.com/apache/pulsar/pull/22890

[16]

[fix] [client]修复自HttpLookupService未关闭导致的Pulsar Client资源泄露问题 :  https://github.com/apache/pulsar/pull/22858

[17]

[fix] [broker]如果在调用getPartitionedTopicMetadata时主题不存在，则返回not-found错误。:  https://github.com/apache/pulsar/pull/22838

[18]

[improve][misc]升级 RoaringBitmap 版本至 1.0.6 :  https://github.com/apache/pulsar/pull/22920

[19]

[improve][broker]使用RoaringBitmap优化ConcurrentOpenLongPairRangeSet :  https://github.com/apache/pulsar/pull/22908

[20]

[improve] [pip]PIP-358：让资源权重对于OverloadShedder、LeastLongTermMessageRate、ModularLoadManagerImpl 发挥作用。:  https://github.com/apache/pulsar/pull/22889

[21]

[improve] [pip]PIP-358：让资源权重为OverloadShedder、LeastLongTermMessageRate、ModularLoadManagerImpl工作。:  https://github.com/apache/pulsar/pull/22888

[22]

[improve] [broker]PIP-356 支持地理复制从最早位置开始 :  https://github.com/apache/pulsar/pull/22856

[23]

[improve][cli]使用LoadManagerReport替代Object :  https://github.com/apache/pulsar/pull/22850

[24]

[improve][meta]修复在关闭元数据存储时使用 drain API 的无效用法和竞态条件 :  https://github.com/apache/pulsar/pull/22585

[25]

[cleanup][client]移除 TransactionImpl 中不必要的同步范围 :  https://github.com/apache/pulsar/pull/22932

[26]

[feat][broker]PIP-264：添加OpenTelemetry代理连接指标 :  https://github.com/apache/pulsar/pull/22931

[27]

[feat][broker]PIP-264：启用 OpenTelemetry 可重用数据内存模式 :  https://github.com/apache/pulsar/pull/22914

[28]

[feat][broker]PIP-264：增加OpenTelemetry生产者指标 :  https://github.com/apache/pulsar/pull/22882

[29]

[feat][broker]PIP-321 在命名空间级别引入 allowed-cluster 功能 :  https://github.com/apache/pulsar/pull/22378

[30]

修复MockLedgerHandle关闭方法中的错误元数据状态 :  https://github.com/apache/bookkeeper/pull/4443

[31]

修复：正确描述LedgerDirManager的方法 :  https://github.com/apache/bookkeeper/pull/4442

[32]

文档：修复了 build.gradle 描述的失效链接。:  https://github.com/apache/bookkeeper/pull/4441

[33]

构建（依赖项）：在/site3/website中将ws从7.5.7升级到7.5.10 :  https://github.com/apache/bookkeeper/pull/4440

[34]

[test]升级/降级测试 :  https://github.com/apache/bookkeeper/pull/4438

[35]

删除 TestCompatRecoveryNoPassword 中不必要的弃用抑制 :  https://github.com/apache/bookkeeper/pull/4437

[36]

将DockerUtils中已弃用的getNextTarEntry替换为getNextEntry :  https://github.com/apache/bookkeeper/pull/4436

[37]

将一些secrets传递给 ci :  https://github.com/streamnative/function-mesh/pull/762

[38]

在Java运行器镜像中安装gcompat :  https://github.com/streamnative/function-mesh/pull/761

[39]

将 bracers 从 3.0.2 升级到 3.0.3 :  https://github.com/apache/pulsar-client-node/pull/387

联系我们

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/