自动化云计算运营如何加快 NU 的上市时间

关键字: [Amazon Web Services re:Invent 2023, Spot by NetApp, Cloud Operations, Spot Instances, Cost Optimization, Automation, Infrastructure Optimization]

本文字数: 1400, 阅读完需: 7 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1VN4y1e7xW

导读

由于企业希望团队能够以更少的资源实现更多的目标，同时还要进行扩展以满足客户需求，因此团队和资源很容易不堪重负。在本讲座中，您将了解像 NU 这样的企业如何利用由 Spot by NetApp 解决方案提供支持的云自动化，不仅优化了成本并将团队从无差别的任务中解放出来，同时缩短了产品上市时间并加快应用服务的交付。了解 NU 如何在提高生产力的同时降低运营成本并消除性能瓶颈，支持其成长为拉丁美洲最大的金融机构之一。本演讲由亚马逊云科技合作伙伴 Spot by NetApp 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

本次会议由来自NetApp旗下Spot的演讲者开启，欢迎观众参加在拉斯维加斯举行的亚马逊云科技re:Invent2022的第一天。他指出，在主演讲之前开始分组讨论会是不寻常的，但对与会者努力准时参加会议表示感谢。演讲者介绍了Nu Bank这个巴西数字银行如何通过自动化云操作加速上市时间的话题。他提到，Nu Bank的工程总监Vitor Montero将很快加入他，以提供客户视角，讲述他们如何在亚马逊云科技云中扩展和运营。

进入主要演讲部分，演讲者关注一个特定的人物角色——平台工程团队。他解释道，这个团队负责根据各种业务需求构建、部署和运营所有交给他们的东西。他们在支持组织内的多样需求方面面临许多障碍。

进一步详细说明，演讲者指出，尽管DevOps运动提倡让每个应用程序团队拥有自己的整个技术栈，但在大型企业中，随着所有不同的栈中出现重复角色，这变得低效。太多的孤立团队可能会引入性能和可靠性问题。平台工程的概念旨在标准化、自动化并优化供更广泛的组织共享的基础服务。需要对一些基本服务进行一定程度的集中化，同时还要允许开发者自主。

据演讲者称，平台工程团队必须定义合同以实施最佳实践，同时也要展示部署和云使用的一致性。这推动了效率和规模。没有这一点，企业规模的复杂性将无法应对。

NetApp的Spot解决方案致力于在公共云中全面优化计算、网络、容器等应用基础设施。通过实时分析平台监控基础设施使用情况，从而提供洞察并驱动优化的持续自动化。其终极目标是使每投资一美元都能产生比前一笔投资更大的价值。为了实现这一目标，该方案会根据数据进行持续调整，确保资源分配和支出的高效。

Spot by NetApp解决方案与客户的Kubernetes集群、云计费系统和其他工具完全集成，实现了与运营环境的完美融合。它不仅提供建议，还会自主执行操作并以实际行动为客户负责。例如，它可以根据需求自动购买亚马逊云科技的储蓄计划，并根据分析结果调整集群大小。优化过程必须是持续的，而不仅仅是定期进行手动审查。

此外，发言人还强调了Spot by NetApp在可观察性和自动化方面的优势。要实现这些优势，需要强大的监控工具来深入分析基础设施使用情况。通过这些洞察，可以驱动基于新数据的自动化改进。开源软件也在此过程中发挥重要作用，但需要精心规划的支持策略。Spot by NetApp为专注于数据的开源软件（如Kafka、Cassandra和Elasticsearch）提供全管理服务，以帮助客户充分利用这些工具的优势。

Victor解释道，Nu银行建立了一种专注于为内部产品团队提供平台和工具的站点可靠性工程文化。In 2018，they began exploring Amazon Web Services' Spot instances through the Spot by NetApp solution，aiming to optimize public cloud expenditures. Since then，Nu bank has continued to mature its journey in cloud optimization，dispersing responsibilities and achieving finer-grained visibility and control.

When it comes to key challenges，Victor notes that Nu bank initially struggled with determining the optimal instance type for delay-sensitive workloads. Certain services on Spot instances would unexpectedly behave when Amazon Web Services recaptured capacity. They have closely collaborated with Spot by NetApp to develop custom features for their unique needs.

Another concern is the latency-sensitive applications due to Amazon Web Services node recycling potentially triggering delays beyond the allowed threshold. For example，Kafka requires queue rebalancing after Spot termination，causing delays in real-time payments. Spot by NetApp helps address this issue by allowing workloads to be split into different instance pools.

Lastly，Victor mentions the anxiety around handling Spot market price fluctuations and availability issues. However，during high-demand periods（such as Black Friday），automatic backup mechanisms have proven robust. Despite Spot price fluctuations，capacity remains stable with an automatic scaling function.

Several optimizations achieved by Nu bank in collaboration with Spot by NetApp include：

• Grouping virtual nodes based on workload demand，differentiating Spot instances from on-demand instances

• Gradually scaling Spot instances to 80% utilization for suitable services，up from 10-20% at the beginning of 2018

• Enabling enhanced flexibility during Amazon Web Services recovery of Spot capacity by setting up multiple standby instance types

• Improving the Spot Ocean SDK via an API-driven automation approach at Nu bank

Through its collaboration with Spot by NetApp，Nu bank has achieved an average of 6% savings in Amazon Web Services computing costs. Additional benefits include releasing on-demand capacity for the most critical applications and smoothing usage during peak events（such as online sales surges on Black Friday）.

To conclude，Victor emphasizes the future focus areas at Nu bank：continuing to disperse responsibilities，matching services with the best instance types，and maximizing automation. He thanks the audience and turns the session back over to the presenter.

NetApp Spot演讲者通过总结Vitor关于克服Spot云基础设施优化平台规模障碍的见解丰富的演讲来结束了这次会议。他强调了Nu Bank令人瞩目的规模，如今已服务于超过90万客户并产生了巨大的交易量。在这个层面上进行优化需要供应商与客户之间真正的合作伙伴关系。

总的来说，本次会议探讨了如何像NetApp Spot这样的专为云计算基础设施自动化和分析而设计的解决方案可以带来显著的价值。从手动评估迁移到持续的数据驱动优化对大型企业至关重要，尤其是针对大规模复杂的分布式系统。在保持监控的同时优先考虑提高开发者生产力是一个微妙的平衡。专业化的解决方案使组织能够在控制成本的同时平稳地扩展。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技助力企业高效拓展业务，提供集中式的基础设施和服务。

据演讲者所述，许多公司最终都采用了由平台工程团队负责共享核心服务的简化方式，而非让各个独立团队各自处理所有事务。

通过SWIO的人机协作集群和故障回退机制，系统可以自动管理节点分配和市场波动，避免任何意外情况的发生。

亚马逊云科技团队充分利用Spot实例API和SDK优化其架构，并强调对自动化的重视。

演讲者回顾了他所在的New Relic公司在云计算领域的探索经历，面临的挑战以及对未来进一步优化服务和降低成本的美好愿景。

总结

本次演讲探讨了巴西数字银行NuBank如何运用NetApp的Spot平台优化并自动化其云计算过程。自2013年起，NuBank的用户数量迅速增长至超过9000万，面对这一挑战，他们需要在标准化工具流程的同时保持速度和灵活性。演讲者认为，优化、自动化和管理开源数据服务是应对云环境中大规模挑战的关键。

接下来，来自NuBank的Vitor分享了他们的指数级增长情况。从一开始，他们就秉承了网站可靠性工程的理念，但随着他们越来越广泛地使用Spot实例（占据其基础设施的70-80%），他们在分配实例、管理延迟敏感的工作负载和处理Spot市场波动方面仍面临挑战。通过与Spot团队合作，根据他们的需求定制功能，NuBank克服了这些障碍。他们将工作负载划分为虚拟节点组，确保最佳的实例分配。如今，自动切换机制可以在处理波动时在Spot和按需实例之间自动切换。将延迟敏感的服务运行在预留的按需节点上。如今，这些问题已经实现自动化，NuBank在继续优化和分散云管理的同时，已将亚马逊云科技的计算成本平均降低了6%。

总的来说，NuBank提供了一个有力的案例研究，展示了随着客户基础的迅速扩大，领先的数字银行如何利用Spot的优化和自动化平台高效地扩展，同时保持可靠性。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134819386

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。