DeepSeek 发布全新开源大模型，数学推理能力超越 LLaMA-2

自从 LLaMA 被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要集中于训练固定大小和高质量的模型，但这往往忽略了对 LLM 缩放规律的深入探索。

开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域，对于推进自然语言处理和人工智能领域具有重要作用。在缩放规律的指导下，为了解决目前 LLM 缩放领域中存在的不明确性，由 DeepSeek 的 AI 团队发布了全新开源模型 LLMDeepSeek LLM。此外，作者还在这个基础模型上进行了监督微调（SFT）和直接偏好优化（DPO），从而创建了 DeepSeek Chat 模型。

在性能方面，DeepSeek LLM 67B 在代码、数学和推理任务中均超越了 LLaMA-2 70B，而 DeepSeek LLM 67B Chat 在开放性评估中更是超越了 GPT-3.5。这一系列的表现为开源 LLM 的未来发展奠定了一定基础。

论文题目:
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

论文链接:
https://arxiv.org/abs/2401.02954

与作为人工通用智能（AGI）新标杆的 LLaMa 相比，本文提出的 DeepSeek LLM：

1. 数据集规模：DeepSeek LLM 使用了一个包含 2 万亿字符的双语数据集进行预训练，这比 LLaMA 的数据集更大。

2. 模型性能：DeepSeek LLM 在多个基准测试中表现优于 LLaMA，特别是在代码、数学和推理方面。

3. 模型架构：虽然 DeepSeek LLM 在微观设计上主要遵循 LLaMA ，但在宏观设计上有所不同。DeepSeek LLM 7B 是一个 30 层网络，而 DeepSeek LLM 67B 有 95 层。这些层数调整在保持与其他开源模型参数一致性的同时优化了模型的训练和推理。

4. 可缩放研究：DeepSeek LLM 对模型和数据尺度的可缩放性进行了深入研究，并成功地揭示了最优模型/数据缩放分配策略，从而预测了大规模模型的性能。

5. 安全性评估：DeepSeek LLM 67B 表现优秀，能够在实践中提供无害化的回复。

预训练

• 数据：为了在确保模型在预训练阶段能够充分学习并获得高质量的语言知识，在构建数据集过程中，采取了去重、过滤和混合三个基本阶段的方法，来增强数据集的丰富性和多样性。为了提高计算效率，作者还描述了分词器的实现方式，采用了基于 tokenizers 库的字节级字节对编码（BBPE）算法，使用了预分词化和设置了适当的词汇表大小。

• 架构：主要借鉴了 LLaMA 的 Pre-Norm 结构，其中包括 RMSNorm 函数，使用 SwiGLU 作为前馈层的激活函数，中间层维度为 ，此外还引入了 Rotary Embedding 用于位置编码。为了优化推理成本，67B 模型没采用传统的 Multi-Head Attention（MHA），而是用了 GroupedQuery Attention（GQA）。

• 超参数：通过我们的实验证明，使用多步学习率调度程序的最终性能与余弦调度程序基本一致，如图 1(a) 所示，作者还在图 1(b) 中演示了调整多步学习率调度程序不同阶段比例，可以略微提升性能。

▲图1 使用不同学习率调度程序或调度程序不同参数的训练损失曲线

缩放规律及影响

作者通过大量实验，探讨了模型和数据大小与计算预算之间的关系。研究发现，随着计算预算的增加，模型性能可以通过增加模型规模和数据规模来预测性地提高。但是，不同数据集对缩放法则有显著影响，高质量的数据可以推动更大模型的训练。

超参数的缩放规律

在这部分，作者研究了 batch size 和学习率的缩放律，并找到了它们随模型大小的变化趋势。图 2 的实验展示了 batch size 和学习率与计算预算之间的关系，为确定最佳超参数提供了经验框架。

▲图2 训练损失关于 batch size 和学习率的变化

如图 3 所示，经验证实，batch size 随计算预算的增加而增加，而学习率则随计算预算的增加而减小。作者指出，他们的研究结果与一些早期研究中提到的观点不一致。这些研究可能认为最佳 batch size 仅与泛化误差