基于亚马逊云科技生成式AI，灵境未来实现云上大语言模型训练和推理平台部署_ai灵境

 大语言模型是生成式AI应用的重要基石，正在为各行各业带来前所未有的技术革新。在实际应用中，大语言模型所驱动的智能对话应用，智能聊天机器人等能够针对用户提问给出高效和准确的答复，帮助行业用户提升业务效率与用户的满意度。

 灵境未来的创业团队在机器学习与人工智能领域拥有丰富的经验积累，致力于以最低成本来帮助企业实现私有数据价值的最大化，为行业客户提供从数据准备、模型微调、模型评估、模型部署等服务。

 通过加入亚马逊云科技云创计划，灵境未来基于Amazon Elastic Compute Cloud（Amazon EC2）GPU实例为大语言模型的训练和推理提供具有成本效益的算力支持，结合容器化的部署和管理方式实现灵活的资源调度，仅用3个月就完成了平台的构建并将其投入商用服务，让心理咨询、智能客服、法律等垂直领域客户能够通过大语言模型与生成式AI提升业务沟通效率。

 机会：提供符合行业用户需求的

 低成本大语言模型解决方案

 灵境未来作为一家提供企业级大语言模型定制化解决方案的初创公司，其核心团队来自于硅谷一线科技厂商以及国内外知名高校，致力于以最低成本和符合行业需求的大语言模型来帮助行业用户实现私有数据价值的最大化。

 “我们的团队优势在于为特定行业的用户提供经过微调的大语言模型方案，例如在心理咨询、智能客服、法律咨询等方向提供快速的模型训练和应用构建。但对于我们这样的初创企业来说，构建这样的训练和推理平台上离不开强大的算力支持，自建GPU计算集群显然是缺乏成本效益的，因此云优先就成为了我们创业的首选项。”灵境未来创始人王森洪谈到。“另一方面，生成式AI热度的不断增长也加剧了市场的竞争，作为一家初创公司，我们需要在短时间内完成方案的构建并快速将其推向市场，这不仅需要云提供商具有稳定的算力支撑，我们也希望从业界获得一些构建和运维的最佳实践。”

 生成式AI对于算力要求非常高，灵境未来致力于大语言模型的微调方案，通过技术手段降低训练成本；因此，降成本是企业的重要任务。此外，对于云优先战略的灵境未来而言，选择稳定的云服务亦是重要的考量标准。综合以上两方面，灵境未来最终选择了亚马逊云科技。

 解决方案：在亚马逊云科技构建定制化的

 大语言模型训练和推理平台

 要快速把握生成式AI与大语言模型所带来的商业机会，并基于未来全球业务拓展的规划、客户数据隐私保护以及云上服务成熟度等多种因素，灵境未来选择在亚马逊云科技上构建面向行业用户的定制化大语言模型训练和推理平台，并加入了亚马逊云科技云创计划，借助丰富的技术和商业资源加速业务的起步。

 “亚马逊云科技对初创企业非常友好，云创计划就是其中一项优质的资源，我们能够用非常低的成本在云上构建业务、验证我们的想法，并将其产品化。”王洪森说，“亚马逊云科技通过云创计划为我们配备了架构师团队，并且非常理解我们的需求，无论是架构建议、构建和运维监控方面都给予了我们支持，让我们可以借助亚马逊云科技在生成式AI领域的最佳实践加速行业解决方案的构建与部署。”

 在亚马逊云科技架构师团队的协助下，灵境未来于2023年5月开始定制化大语言模型训练和推理平台在云上的开发和部署。灵境未来选择了包含GPU的Amazon EC2实例来为大语言模型的训练与推理提供算力支持，并采用了容器化的方式进行应用的部署，利用Amazon ECR全托管式容器注册表管理应用的映像和构建，结合Amazon EKS实现容器编排，并结合Amazon EC2的GPU实例完成作业的训练。

 在为业务平台选择数据库服务时，灵境未来基于云优先和云原生的原则采用了无服务器的Amazon Aurora Serverless来为业务打造具有高可用性和高扩展性的数据库，以灵活的面对不断变化的工作负载，适应大语言模型训练和推理平台在当前和未来的数据管理需求。在平台前端，灵境未来的技术团队也部署了ELB灵活处理应用的负载，为平台提供更好的可用性。

 经过一系列的概念验证与部署，灵境未来目前已经在亚马逊云科技上部署了包括LLaMA等在内的多款开源大语言模型，并将自身在行业领域的经验融入解决方案中，为心理咨询、法律等行业客户提供定制化的微调服务，帮助客户构建基于生成式AI的业务应答与对话应用。针对用户的数据安全保护需求和行业特点，灵境未来也充分应用了亚马逊云科技在安全合规性和数据保护的优势，为每一个行业客户提供独立的训练和应用环境，通过安全的隔离让用户享受生成式AI便利性的同时将数据保护在可控边界之内。

 成果：研发周期缩短一半

 并节省超过70%的推理成本

 通过加入亚马逊云科技的云创计划，灵境未来能够借助一系列的资源实现快速的概念验证并实现快速的构建，将基于大语言模型的一站式训练和推演平台开发周期缩短一半时间，避免自建GPU运算集群所需的硬件采购周期，更快拥抱生成式AI所带来的新业务机会。“亚马逊云科技的架构师团队为我们的前期开发和部署提供了完善的支持，大大加速了我们前期针对产品所需部署得开发环境搭建时间，让原本计划6个月完成得产品Beta版本发布缩短至3个月完成并上线，为我们软件产品的专利和著作权申请赢得了宝贵的时间。”王洪森谈到。

 在业务中引入服务器计算，灵境未来也在运维方面释放了30%的人力资源，让团队能够更加专注于解决方案的研发与功能迭代。在业务中引入无服务器架构的Amazon Aurora Serverless，灵境未来可以根据应用程序的需求自动启动、关闭以及扩展或缩减数据库的容量，尤其是在业务上线后的扩展阶段无需投入专门的运维人力进行资源的预估和日常维护。因此企业可以将技术人力资源进行更好的分配，实现业务的持续更新与优化。

 此外，灵境未来的研发团队将Amazon EKS自动化的容器编排与服务调度与Amazon EC2 Spot实例在价格上的优势结合在一起，为大语言模型的训练和推理过程提供了可预测的价格，也实现了成本上的优化。

 展望未来，灵境未来将继续在大语言模型与生成式AI领域借助亚马逊云科技所提供的技术不断创新，拓展更多行业解决方案。灵境未来的团队也在积极探索Amazon SageMaker托管机器学习服务在生成式AI领域的价值，并与亚马逊云科技在市场营销领域合作，计划加入亚马逊云科技合作伙伴网络（APN）并将一站式训练和推演平台上架亚马逊云科技Marketplace，让更多的客户可以从生成式AI的应用中获益。