赞
踩
去年,我们推出了预览版的批量推理支持,允许您批量处理提示以获取用于模型评估、实验和离线处理的响应。目前,Amazon Bedrock 在所有亚马逊云科技支持的区域中,为可用的模型提供批量推理服务。
使用批量推理可以异步运行多个推理请求,并提高对大型数据集进行模型推理的性能。Amazon Bedrock 为来自 Meta、Mistral AI 和 Amazon 等领先 AI 提供商的部分基础模型 (FM) 提供批量推理服务,价格为按需推理定价的 50%。
批量推理服务
扫码查看
批量推理的完成时间取决于各种因素,如作业大小,但典型作业预计会在 24 小时内完成。您可以在我们的批量推理文档中了解更多信息,您也可以参考我们的 API 文档。
批量推理文档
扫码了解更多
API 参考文档
扫码了解更多
左右滑动查看更多
Amazon Bedrock 是一项全托管服务,通过单一 API 提供,来自 AI21 Labs、Cohere、Meta、Mistral AI、Stability AI 等领先 AI 公司以及 Amazon 的高性能基础模型选择。
Amazon Bedrock 还提供了客户构建过程中具有安全性、隐私性和负责任 AI 的生成式 AI 应用程序所需的广泛功能。这些功能可帮助您针对不同行业的多种用例构建量身定制的应用程序,帮助组织从生成式 AI 中实现持续增长,同时确保得到客户信任,及安全的数据治理。
要了解有关 Amazon Bedrock 的更多信息,请访问 Amazon Bedrock 页面,并参阅 Amazon Bedrock 文档以获取更多详细信息。
Amazon Bedrock 页面
扫码了解更多
Amazon Bedrock 文档
扫码了解更多
左右滑动查看更多
星标不迷路,开发更极速!
关注后记得星标「亚马逊云开发者」
听说,点完下面4个按钮
就不会碰到bug了!
点击阅读原文!获得更详细内容!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。