Gemma开源AI指南

近几个月来，谷歌推出了 Gemini 模型，在人工智能领域掀起了波澜。 现在，谷歌推出了 Gemma，再次引领创新潮流，这是向开源人工智能世界的一次变革性飞跃。

与前代产品不同，Gemma 是一款轻量级、小型模型，旨在帮助全球开发人员负责任地构建 AI 解决方案，与 Google 的 AI 原则紧密结合。 这一具有里程碑意义的举措标志着人工智能技术民主化的重要时刻，为开发人员和研究人员提供了前所未有的使用尖端工具的机会。

作为一个开源模型，Gemma 不仅使最先进的人工智能技术的获取变得民主化，还鼓励全球开发者、研究人员和爱好者社区为其进步做出贡献。 这种协作方法旨在加速人工智能创新，消除障碍并培育共享知识和资源的文化。

在本文中，我们将使用 Keras 探索 Gemma 模型，并尝试一些文本生成任务的实验，包括问答、摘要和模型微调。

1、什么是Gemma

Gemma 是 Google AI 系列的最新成员，由轻量级的顶级开放模型组成，这些模型源自为 Gemini 模型提供动力的相同技术。 这些文本到文本、仅限解码器的大型语言模型以英语提供，提供开放权重、预训练变体和指令调整变体。 Gemma 模型在各种文本生成任务中表现出色，例如回答问题、摘要和推理。 其紧凑的尺寸有助于在笔记本电脑、台式机或个人云基础设施等资源有限的环境中进行部署，实现对尖端人工智能模型的民主化访问并刺激所有人的创新。

Gemma的主要特性如下：

• 模型尺寸：Google 推出了两种尺寸的 Gemma 模型：Gemma 2B 和 Gemma 7B，每种模型都提供预训练和指令调整的变体。
• Responsible AI 工具包：Google 推出了 Responsible Generative AI 工具包，帮助开发人员使用 Gemma 创建更安全的 AI 应用程序。
• 用于推理和微调的工具链：开发人员可以通过本机 Keras 3.0 利用工具链在 JAX、PyTorch 和 TensorFlow 等主要框架中进行推理和监督微调 (SFT)。
  轻松部署：经过预训练和指令调整的 Gemma 模型可部署在笔记本电脑、工作站或 Google Cloud 上。 它们可以轻松部署在 Vertex AI 和 Google Kubernetes Engine (GKE) 上。
• 性能：与其他开放式模型相比，Gemma 模型在其尺寸方面实现了顶级性能。 它们在关键基准上的表现明显优于更大的模型，同时保持安全和负责任的输出的严格标准。

2、Gemma vs. Gemini

谷歌表示，Gemma 虽然与 Gemini 不同，但与其共享重要的技术和基础设施组件。 这一共同的基础使 Gemma 2B 和 Gemma 7B 能够相对于其他类似尺寸的开放式模型实现“一流的性能”。

3、Gemma vs. Llama 2

Google 将 Gemma 7B 与 Meta 的 Llama 2 7B 在推理、数学和代码生成等各个领域进行了比较。 Gemma 在所有基准测试中均显着优于 Llama 2。 例如，在推理方面，Gemma 在 BBH 基准测试中得分为 55.1，而 Llama 2 的得分为 32.6。 数学方面，Gemma 在 GSM8K 基准测试中得分为 46.4，而 Llama 2 得分为 14.6。 Gemma 在解决复杂问题方面也表现出色，在 MATH 4-shot 基准测试中得分为 24.3，超过了 Llama 2 的 2.5 分。 此外，在 Python 代码生成方面，Gemma 得分为 32.3，超过了 Llama 2 的 12.8 分。

Gemma 可在 Colab 和 Kaggle 笔记本上轻松使用，并与 Hugging Face、NVIDIA、NeMo、MaxText 和 TensorRT-LLM 等流行工具无缝集成。 此外，开发人员还可以通过 Keras 3.0 利用 Google 的工具链在 JAX、PyTorch 和 TensorFlow 等领先框架中进行推理和监督微调 (SFT)。

4、实验1：Gemma与 KerasNLP的结合

KerasNLP 提供了对 Gemma 模型的便捷访问，使研究人员和从业者能够轻松探索和利用其功能来满足他们的需求。

4.1 启用模型访问权限

Gemma-7b 是一个受控模型，需要用户请求访问。按照如下步骤启用模型访问。

• 登录你的 Kaggle 帐户或注册一个新帐户（如果还没有帐户）。
• 使用这个链接打开 Kaggle上的Gemma 模型页面。
• 在 Gemma 模型页面上，单击“请求访问”链接以请求访问模型。
• 在下一页上提供你的名字、姓氏和电子邮件 ID。
• 在接下来的页面中单击“接受”以接受许可协议。

4.2 Kaggle 访问密钥生成

要访问该模型，你还需要 Kaggle 访问令牌。 可以通过转到Kaggle设置来，然后单击 API 下的“创建新令牌”按钮来创建新的访问令牌。

4.3 使用 KerasNLP 通过 Gemma 创建脚本

为了运行该模型，Gemma 需要一个具有 16GB RAM 的系统。 在本节中，我们将使用 Google Colab 而不是个人机器。 如果符合要求的规格，可以尝试在你的计算机上运行相同的代码。

• 打开链接“欢迎来到 Colaboratory — Colaboratory”，然后单击“登录”以登录到你的 Colab 帐户；如果没有帐户，则创建一个新帐户。
• 通过Runtime→更改运行时类型→T4 GPU→保存将Runtime更改为T4 GPU。

4.4 设置环境变量

要使用 Gemma，你必须提供 Kaggle 访问令牌。 在左侧窗格中选择 Secrets (