LLM：LLaMA模型和微调的Alpaca模型

LLaMA模型

简单了解[LeCun狂赞：600刀GPT-3.5平替！ 斯坦福70亿参数「羊驼」爆火，LLaMA杀疯了]

论文原文：https://arxiv.org/abs/2302.13971v1

预训练数据

模型架构

模型就是用的transformer的decoder，模型设计的不同点在于：

1 Position Embedding：RoPE旋转位置编码rotary-embedding

删除了绝对位置嵌入，而是在网络的每一层添加了Sujianlin等人（2021）引入的旋转位置嵌入（RoPE）。

现阶段被大多数模型采用的位置编码方案，具有很好的外推性。

[RoPE旋转位置编码]

2 Feedforward Layer

采用SwiGLU；Feedforward变化为(8/3)倍的隐含层大小，即2/3*4d而不是4d。

SwiGLU激活函数：

Swish=x⋅sigmoid(βx)

源于PaLM中使用的[SwiGLU激活函数]

3 Layer Normalization: 基于RMSNorm的Pre-Normalization

同GPT3。 

Pre-Normalization

RMS Pre-Norm 

 

[LLM：大模型的正则化_-柚子皮-的博客-CSDN博客]

不同模型的超参数的详细信息。

训练细节

使用AdamW优化器进行训练（Loshchilov和Hutter，2017），具有以下超参数：β1=0.9，β2=0.95。

使用余弦学习速率表，使得最终学习速率等于最大学习速率的10%。我们使用0.1的权重衰减和1.0的梯度裁剪。

使用2000个预热步骤，并根据模型的大小改变学习速度和批量大小。

Alpaca模型

[Stanford CRFM] 

中文聊天aipaca

GitHub - ymcui/Chinese-LLaMA-Alpaca

内容导引