当前位置:   article > 正文

SeaTunnel毕业!首个国人主导的数据集成项目成为Apache顶级项目_apache seatunnel web 部署

apache seatunnel web 部署

 

北京时间 2023 年 6 月 1 日,全球最大的开源软件基金会 Apache Software Foundation(以下简称 ASF)正式宣布 Apache SeaTunnel 毕业成为 Apache 顶级项目(TLP, Top Level Project)。这是首个由国人主导并贡献到 ASF 的大数据集成领域的顶级项目,这一里程碑的达成标志着 SeaTunnel 在开源软件开发领域的突破,并为其在技术、社区合作和开放创新方面的卓越表现获得了广泛认可。

Apache SeaTunnel 原名 Waterdrop,在 2021 年 10 月更名为 SeaTunnel 并申请加入 Apache孵化器。目前 Apache SeaTunnel 已发布 40+个版本,并在大量企业生产实践中使用,包括 J.P.Morgan、字节跳动、Stey、中国移动、富士康、腾讯云、国双、中科大数据研究院、360、Shoppe、Bilibili、新浪、搜狗、唯品会等企业,广泛应用于海量异构数据集成、CDC 数据同步,SaaS 数据集成以及多源数据处理等场景中。

2021 年 12 月 9 日, Apache SeaTunnel 以全票通过的优秀表现正式成为 Apache 孵化器项目。之后在导师 Jean-Baptiste Onofré、Kevin Ratnasekera、Willem Ning Jiang、 Ted Liu、Guo William、Zhenxu Ke、Lidong Dai 的指导下,由孵化器管理委员会成员进行辅导和孵化。

2023 年 5 月 17 日,Apache 董事会通过 Apache SeaTunnel 毕业决议,结束了为期 18 个月的孵化,正式确定 Apache SeaTunnel 成为 Apache 顶级项目。

Apache 官方博客发布了 Apache SeaTunnel 毕业的消息:

图1:Apache 官网截图

关于 Apache SeaTunnel

Apache SeaTunnel 是新一代高性能、分布式、海量数据集成工具,支持上百种数据源 ( Database/Cloud/SaaS ) 支持海量数据的实时 CDC 和批量同步,可以稳定高效地同步万亿级数据。

图2:Apache SeaTunnel 技术架构图

作为超高性能分布式数据集成工具,Apache SeaTunnel 整体的特征和优势包括:支持上百种数据源、传输速度快、准确率高;降低复杂性,基于 API 开发的连接器能兼容离线同步、实时同步、全量同步、增量同步、CDC 实时同步等多种场景;简单易用,提供可拖拽和类 SQL 语言界面,节省开发者更多时间 ,提供了作业可视化管理、调度、运行和监控能力。加速低代码和无代码工具的集成 ;简单易维护,支持单机 & 集群部署,如果选择 SeaTunnel Zeta 引擎部署,无需依赖 Spark、Flink 等大数据组件。

在社区发展方面,Apache SeaTunnel 在 ASF 孵化期间,从最开始的几万行代码发展到现在 25 万行代码,共计创建了 2920+ 个 PR,合并 2850+ 个 PR。目前,SeaTunnel 在 GitHub 上 Star 数达 5.1 k+,社区达到 5000+ 人规模,贡献者 180+ 人。

在用户方面,Apache SeaTunnel 现已广泛应用于互联网、金融、零售、出行、智能家居、云服务等各行各业中,在海量数据集成、实时异构数据同步、数据聚合以及多源数据聚集等场景中,可高效地处理数万亿条规模以上的数据。

图3:Apache SeaTunnel 用户(部分)

新起点,新征程!

从刚开始寥寥无几的贡献者,到如今拥有庞大的用户群体和蓬勃发展的社区,Apache SeaTunnel 和其他从零开始的项目一样,经历的挑战和压力来自方方面面,包括技术架构重构 、开源社区协作等,正是在众多 SeaTunnel 贡献者日日夜夜的坚持和努力之下,Apache SeaTunnel 才得以顺利从 Apache 孵化器毕业,成为 Apache顶级项目(Top Level Project)。

SeaTunnel使命就是连通全球的各种数据源,让简单易用的海量数据同步的能力传播到全世界。

为了完成这个使命,在社区的共同努力之下,项目已经创下了许多重要里程碑,不仅获得了数百家企业用户的支持,在数据集成领域也广受认可。

图4:Apache SeaTunnel 发展里程碑

2017 年开源,项目开源,当时名为 Waterdrop,在腾讯、新浪等企业生产中使用;2021 年 12 月,进入 Apache 孵化器,并更名为 Apache SeaTunnel;2022 年 3 月,发布首个 Apache 版本,受到用户的热烈反响;2022 年 10 月,发布第一个重大版本 2.2.0,实现了 SeaTunnel Zeta 引擎,并完成跨引擎的连接器支持;2022 年 12 月支持重要功能 CDC 同步,连接器个数突破 100+;2023 年,实现支持 Flink 1.15 和 Spark 3,Zeta 引擎支持 CDC 整库同步和多表同步,以及 Schema Evolution 和自动建表等;2023 年 6 月 1 日,ASF 正式宣布 Apache SeaTunnel 毕业;......

未来,Apache SeaTunnel 还有更多目标等待实现......

18 个月的孵化中,Apache SeaTunnel 取得的进步肉眼可见,不断扩大的社区群体,不断提升的社群活跃度,来自老用户和新用户的信赖和认可,多次登上 GitHub Trending 榜单、引起 InfoQ、HackerNews 等技术媒体平台和媒体的热烈讨论和报道,都在见证着这个项目从小到大的发展。

在孵化期间,Apache SeaTunnel 也获得了诸多荣誉:

  • 2022 年中国开源云联盟优秀项目
  • 开源中国 2022 年度优秀开源技术团队
  • 2022 年度 OSC 中国开源项目评选中被选为「中国开源社区健康案例」
  • .......

在 ASF 的支持下,Apache SeaTunnel 团队通过开放协作和社区贡献,不断完善项目的技术和功能。在 7 位 Mentor 的帮助下,Apache SeaTunnel 社区共加入了 28 位 Commiter、18 位 PMC,也在社区的共同努力下发布了 8 个 Apache Releases。通过透明的开发过程和开源的代码管理,Apache SeaTunnel 项目在社区中获得了广泛的参与,共同克服了社区的建立和本土化、精力分配、团队协作和社区成长等重重困难和挑战,优化迭代项目自身的同时,也壮大了了社群的力量。感谢给予无私支持和帮助的各位导师、贡献者、用户以及 Apache 孵化器的支持。

成为 Apache 顶级项目对于 Apache SeaTunnel 来说意义重大。首先,ASF 的顶级项目是在社区共识和专家评审的基础上评定的,代表着项目在技术质量、社区治理和可持续性方面的卓越表现。Apache SeaTunnel 的成功毕业是对其社区不懈努力和创新精神的认可。

其次,成为 ASF 顶级项目将为 Apache SeaTunnel 带来更多的资源和支持。ASF 的全球社区将为 Apache SeaTunnel 项目提供开发者、用户和贡献者的广泛网络,促进项目的快速增长和可持续发展。Apache SeaTunnel 将获得 ASF 的品牌背书,进一步增强其在行业中的声誉和影响力。

最重要的是,Apache SeaTunnel 成为 ASF 顶级项目将进一步推动开源创新在数据集成领域的发展。SeaTunnel 项目通过开放的合作和共享知识,为数据集成解决方案提供了有价值的参考,其开源的代码和先进的技术将激发更多创新,并有望为全球数据集成技术带来积极变革。

然而,这也仅是 Apache SeaTunnel 新的起点,我们的征途是星辰大海!在此呼吁热衷于开源和致力于中国开源项目走向世界的同侪,让我们共同努力,把 Apache SeaTunnel 这样具有代表性的诞生于中国的优秀开源项目推向更广阔的国际舞台,让中国开源力量形成合力,让中国开源发扬光大!

毕业寄语

在这个重要的时刻,各大开源组织、友邻社区和我们的用户也纷纷发来了最真挚的祝福和对 Apache SeaTunnel 的厚望,在此感谢大家对于 Apache SeaTunnel 社区的大力支持(排名不分先后, 按收到时间排列)!

❤️温馨提示:文章末尾有福利活动,不要错过❤️

来自 Mentor 的寄语:

Congratulations on graduating from the Apache Software Foundation incubator! As the project champion, I am thrilled to see the progress SeaTunnel has made and the achievements SeaTunnel has accomplished during the incubation. During the incubation, SeaTunnel PPMC has demonstrated strong community-building skills, a commitment to open source best practices, and an ability to deliver quality software. These qualities are essential for any successful open source project and I have no doubt that you will continue to excel in these areas as a top-level Apache project. I am proud to have been a part of your journey and I look forward to seeing your continued success as a top-level Apache project. Congratulations once again and best of luck in your future endeavors!

—Willem Jiang,ASF Board Director &ASF Incubator Mentor

First of all, I congratulate the SeaTunnel community for passing this important milestone of any open source project, which is becoming a Top level project for Apache. I have been part of this project as an Apache Incubator mentor, it is so gratifying to see the community growth achieved while following Apache ‘Community over Code’ practices. I am proud to say not only the SeaTunnel community was able to make major releases packed with features, most importantly they created such a welcoming environment for any new contributor who wishes to join the community. I wish very best for the next chapter of the project in the years to come and excel as one of leading open source projects in the Data Integration space.

—Kevin Ratnasekera,ASF Member / ASF Incubator Mentor

2021 年 12 月初,当 SeaTunnel 进入 ASF 项目孵化器时,我给了一段贺词 “初心涓滴成流 (Waterdrop) ,志向海纳百川 (SeaTunnel)”。十八个月之后,Apache SeaTunnel 顺利毕业成为 ASF 顶级项目,我的期许是:Apache SeaTunnel【启航星辰大海】!

—刘天栋 Ted,ASF Member, Incubator PMC & Mentor

现在全球数据计算引擎,AI 引擎都在爆发式增长,SeaTunnel 项目解决了简单高效地将传统数据库、云存储、SaaS 等数据源输入到数据仓库、AI 和各种目标源当中,祝愿 SeaTunnel 成为顶级项目后真的实现“连接万源,同步如飞!”

—郭炜,ASF Member, Incubator PMC & Mentor

来自开源组织的祝福:

It is a great honor to witness the journey of Apache SeaTunnel from entering the Apache incubator to graduating as an independent top Apache project. Community developers and contributors are really working hard to develop a steady stream, spreading awareness and onboarding more users. The project is on the road to a virtuous circle of development. I am hopeful that the project and its community will continue to add more value to society and the public through their efforts and contribution.

—Priya Sharma, Apache ComDev PMC member

恭喜 SeaTunnel 顺利毕业,毕业不代表着终点,在如今数据要素如火如荼的时代背景下,希望SeaTunnel 后续多多完善上下游开源软件的集成兼容,共同做大数据集成生态,帮助用户降低数据使用门槛。

—耿航,NextArch 基金会TOC、SODA 基金会 AC 委员、CCF 开源发展委员会执委

祝贺 SeaTunnel 顺利毕业,很高兴又见到来自中国的开源项目通过 Apache 软件基金会的孵化。Apache 软件基金会在开源文化传承、开源精神传播和开源项目孵化上对全世界有着突出的贡献,近年来 Apache 软件基金会的中国成员十分活跃,先后成立了 ALC 北京和 ALC 深圳社区,积极参与中国开源生态建设,持续促进产业发展。

衷心希望 Apache SeaTunnel 继承并发扬开源精神,在开放治理和开源合规领域成为其他开源项目的榜样,同时衷心祝愿 SeaTunnel 社区早日发展壮大,取得更大的商业成就。

—宋可为,中国开源软件推进联盟副秘书长、北京开源创新委员会常务副主任

祝贺 Apache SeaTunnel 顺利毕业!Apache SeaTunnel 曾经在孵化器讨论阶段就已经引起了诸多关注,在后面一年多的孵化过程中,大家都看到了 Apache SeaTunnel 的成长以及未来的潜力。毕业亦是新的起点,希望 Apache SeaTunnel 再接再厉,在数据处理领域书写属于自己的故事。

—红薯,开源中国创始人

来自友邻社区的祝福:

祝贺 Apache SeaTunnel 成功从 Apache 基金会毕业成为顶级项目,这意味着在产品打磨、社区建设、生态合作上都取得了良好的成果,祝愿 Apache SeaTunnel 不断成长,在数据集成场景中发挥更大的作用。

—乔嘉林,Apache IoTDB PMC、ASF Member

祝贺 Apache SeaTunnal 成功毕业,源自中国的 ASF 顶级项目又多了一员,这是一个非常值得庆祝的里程碑。作为一个优秀的数据集成开源项目,SeaTunnal 在孵化的过程中聚集开发者和用户,提供了丰富的数据集成能力,逐步创建了一个多元的社区。希望 SeaTunnal 未来能够继续保持优秀的表现,为开源社区带来更多的价值和贡献!

—张超,Apache InLong PMC Chair、腾讯大数据数据集成负责人

衷心祝贺 SeaTunnel 顺利毕业 ,成为 Apache 正式项目。这是对 SeaTunnel 团队能力和产品技术的认可,也对未来提出更高期望。感谢 SeanTunnel 同阿里云存储产品特别是对象存储,表格存储合作中的优异表现和快速响应。期待在未来帮助更多用户高效,安全,方便的进行数据流转,提升数据使用的效率,助力用户数据价值挖掘。

—蔡亮伟,阿里云智能资深产品运营专家

恭喜 SeaTunnel 顺利毕业成为Apache的正式项目,证明了 SeaTunnel 的产品品质得到了市场和开发者的充分认可,期待在数据库数据库集成、调度方面持续增强功能,特别是作为PolarDB 开源生态合作伙伴为云数据库 PolarDB 用户提供优质的产品体验。

—德哥,阿里云数据库 PolarDB 开源社区负责人

SeaTunnel 经过一年多的孵化,日前顺利从 Apache 孵化器毕业,成为又一个国人牵头主导的 Apache 顶级开源项目,代表了 Apache Way 以及开源文化在中国的崛起。祝 SeaTunnel 越走越远,不但支持更多数据同步特性,也能吸纳更多地区的社区贡献者,为各国用户创造更多价值。

—史少锋,Apache Kylin PMC Chair、ASF Member

恭喜 SeaTunnel 项目成功从 Apache 基金会毕业!SeaTunnel 在数据实时同步方面的表现给客户和生态伙伴留下深刻印象。此次 SeaTunnel 从 Apache 毕业是一个重要的里程碑,也是是所有社区成员、贡献者和支持者智慧的结晶。希望这个项目持续打磨和迭代,为更多的用户带来价值,在未来的发展中取得辉煌的成就!

—常雷,Apache HAWQ PMC Chair、偶数科技创始人兼CEO

恭喜 Apache SeaTunnel 顺利毕业。从最开始的 Connetor V1 到 V2,再到自研引擎,很高兴看到 SeaTunnel 在 Apache 孵化器中如此快速的发展。愿 Apache SeaTunnel 能够成为 DevOp 领域的中流砥柱,成为大数据领域不可或缺的一环。同时希望用户和开发者加入到 SeaTunnel 生态中,共赢互利。

—Mingyu Chen,ASF Member & Apache Doris PMC Chair

Congratulations on the successful graduation of the Apache SeaTunnel project from the Apache Incubator and becoming one of the top-level projects of the ASF. Your hard work and dedication to open source and dev-eco have paid off, and we are thrilled to see the project reach this significant milestone. We wish you all the best in your future endeavors and look forward to seeing the continued growth and success of the Apache SeaTunnel project.

—Nadia Jiang, Co-Founder of Answer.dev, SegmentFault 思否 COO

祝贺 Apache Seatunnel 顺利毕业,迈过这个标志性的里程碑。祝 Apache Seatunnel 不断向前,社区不断壮大,越来越优秀,为开源爱好者提供更好的平台,为用户提供更大的价值。

—翟佳,Apache Pulsar PMC member,ASF Member

祝贺 Apache SeaTunnel 顺利毕业,Apache SeaTunnel 在过去的一年中茁壮成长,帮助大量用户很好的解决数据迁移问题。不仅如此,Apache SeaTunnel 在生态上下游上保持着非常开放的心态,和大量的上下游产品进行了深度的合作。Apache 毕业是完成在 Apache 成长过程中一个重要的里程碑,但也是一个新的起点,未来在数据流转上写下自己浓重的一笔, 也祝Apache SeaTunnel 未来更上一层楼。

—封仲淹(Longda Feng),Apache Storm PMC & OceanBase 开源负责人

Hurray!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/530098
推荐阅读
相关标签