LLMs之Yi-6B：Yi-6B的简介、安装、使用方法之详细攻略

LLMs之Yi-6B：Yi-6B的简介、安装、使用方法之详细攻略

导读：2023年11月02日，Yi系列模型是由01.AI的开发人员从头开始训练的大型语言模型。Yi系列模型的第一个公开版本包含两个双语（英文/中文）基础模型，参数大小分别为6B和34B。这两个模型都是使用4K序列长度进行训练的，并且在推理时可以扩展到32K。Yi-6B模型在多个任务上表现良好，包括MMLU、CMMLU、C-Eval、GAOKAO、BBH、Common-sense Reasoning、Reading Comprehension和Math & Code等。

目录

Yi-6B的简介

1、模型性能

2、免责声明

Yi-6B的安装

第一步，准备开发环境

第二步，下载模型（可选）

第三步，推理测试

第四步，从基础模型进行微调

Yi-6B的使用方法

1、基础用法

---

Yi-6B的简介

2023年11月02日，零一万物发布首款开源大模型Yi-6B 和 Yi-34B。Yi 系列模型是由 01.AI 的开发人员从零开始训练的大型语言模型。第一个公开发布的版本包括两个双语（英语/中文）基础模型，参数规模分别为 6B 和 34B。它们都是使用 4K 序列长度进行训练的，且在推理时可以扩展到32K。

GitHub地址：https://github.com/01-ai/Yi

HuggingFace地址：https://huggingface.co/01-ai/Yi-6B

1、模型性能

在对开源模型进行基准测试时，我们观察到我们的管道生成的结果与公开来源（例如 OpenCompass）中报告的结果之间存在差异。在对这种差异进行更深入的调查后，我们发现各种模型可能采用不同的提示、后处理策略和抽样技术，可能导致结果差异显著。我们的提示和后处理策略与原始基准保持一致，评估过程中使用贪婪解码，不对生成的内容进行任何后处理。对于原始作者没有报告的分数（包括使用不同设置报告的分数），我们尝试使用我们的管道获取结果。

为了全面评估模型的能力，我们采用了 Llama2 中提到的方法。具体来说，我们包括了 PIQA、SIQA、HellaSwag、WinoGrande、ARC、OBQA 和 CSQA 来评估常识推理能力。

我们还使用 SquAD、QuAC 和 BoolQ 来评估阅读理解能力。CSQA 专门使用了 7 次抽样设置进行测试，而所有其他测试都使用了 0 次抽样配置。此外，我们在“数学与代码”类别下引入了 GSM8K（8-shot@1）、MATH（4-shot@1）、HumanEval（0-shot@1）和 MBPP（3-shot@1）。由于技术限制，我们没有在 QuAC 和 OBQA 上测试 Falcon-180；分数是通过平均计算在其余任务上的分数得出的。由于这两个任务的分数通常低于平均分，我们认为 Falcon-180B 的性能没有被低估。

2、免责声明

尽管我们在训练过程中使用数据合规性检查算法来确保经过训练的模型在最大程度上符合规定，但由于数据的复杂性和语言模型使用场景的多样性，我们无法保证模型在所有场景中生成正确和合理的输出。请注意，模型仍然存在产生问题输出的风险。对于因滥用、误导、非法使用和相关错误信息导致的任何风险和问题，我们将不负责任。

Yi-6B的安装

第一步，准备开发环境

第二步，下载模型（可选）

第三步，推理测试

或者如果您愿意深入了解：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("01-ai/Yi-34B", device_map="auto", torch_dtype="auto", trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained("01-ai/Yi-34B", trust_remote code=True)

inputs = tokenizer("有一个地方时间停滞不前。一个令人叹为观止的地方，但也", return_tensors="pt")

outputs = model.generate(inputs.input_ids.cuda(), max_new_tokens=256)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

第四步，从基础模型进行微调

Yi-6B的使用方法

1、基础用法

更新中……