亚马逊云科技Amazon Bedrock大模型托管服务详细分析_aws bedrock

说到2023年亚马逊云科技Re:invent 全球云计算大会最大更新，当属亚马逊云科技模型的大语言模型托管服务——Amazon Bedrock.

Bedrock于两个月前正式发布，在本次大会后正式对用户可用。我们这次就来了解下该服务有什么亮点，和详细使用教程。由于小李哥Claude2.1模型申请还没批准，我们下期评测模型性能

1️⃣Bedrock的亮点是什么？
▶️ 有大量的基础模型(FM)供用户选择，功能覆盖文字生成、聊天、图片生成等。如这次最新发布的Anthropic Claude2.1, AI21 Labs, Meta, Cohere和Amazon自家自研模型等
▶️ 可以借助企业知识库，为FM扩展检索增强生成(RAG)
▶️ 安全与合规性: 支持私有化部署、全生命周期保护用户数据、可以筛选用户输入和模型输出，构建负责任的AI
▶️支持Fine-Tune模型微调, 无需编写代码，通过GUI即可训练和验证模型
▶️ Amazon自研模型Titan已支持Pre-Trainng，可以对某一行业、领域的内容更好预测

2️⃣价格
Bedrock的计费分3种方式
▶️On-Demand即用即付，根据用量付费
▶️预付费，可以承诺使用1-6个月的用量，价格会便宜一些
▶️自定义微模型调，根据训练的Token数量(通常6字节)＋模型存储费用
另外从图中可知，Bedrock中的Claude 2.1模型，相对于OpenAI同类模型，具备明显价格优势

3️⃣如何打开Bedrock并申请使用模型？
▶️进入操作台Console，打开Bedrock

▶️主页点击"Get Started"

▶️点击"Base Model"查看所有的基础模型

▶️如果想申请新的模型，如Claude 2.1。点击左侧"Model Access"，再点击右上角"Manage Access"，申请并开启模型

4️⃣如何在Bedrock中使用模型？
▶️点击模型场景，并选择模型

▶️选择想要使用的具体模型

▶️输入问题并点击Play生成回复，同时可以调整输出长度，输出随机度、Top采样概率等参数，举例生成的是Amazon Bedrock云服务使用教程