Gemma: Open Models Based on Gemini Research and Technology

作者：菜鸟追梦旅行 | 2024-04-16 08:16:29

踩

本文是LLM系列文章，针对《Gemma: Open Models Based on Gemini Research and Technology》的翻译。

Gemma：基于Gemini研究和技术的开放模型

摘要
引言
模型结构
训练结构
预训练
指令调整
从人类反馈中强化学习
评估

摘要

这项工作介绍了Gemma，这是一个轻量级、最先进的开放模型家族，通过用于创建Gemini模型的研究和技术构建而成。Gemma模型在语言理解、推理和安全方面的学术基准测试中表现出了强大的性能。我们发布了两种大小的模型（20亿和70亿参数），并提供了预训练和微调的检查点。Gemma在18项基于文本的任务中有11项优于类似规模的开放模型，我们对模型的安全性和责任性进行了全面评估，并对模型开发进行了详细描述。我们认为，LLM的负责任发布对于提高前沿模型的安全性和实现下一波LLM创新至关重要。

引言

模型结构

训练结构

预训练

指令调整

从人类反馈中强化学习

评估

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/433191