大模型学习_大模型mfu

大模型的参数量和显存占用估算

现在业界的大语言模型都是基于transformer模型的，模型结构主要有两大类：encoder-decoder（代表模型是T5）和decoder-only，具体的，decoder-only结构又可以分为Causal LM（代表模型是GPT系列）和Prefix LM（代表模型是GLM）。针对decoder-only框架，估算其参数量和显存占用。

参数量约为，其中l指transformer层数，h指隐藏层维度。

训练显存占用约为20*参数量，单位B。20=2+4+2+4+4+4，前两个数字是权重，接着两个是梯度，最后两个是优化器状态大小。每个可训练模型参数都会对应1个梯度，并对应2个优化器状态。在混合精度训练中，会使用float16的模型参数进行前向传递和后向传递，计算得到float16的梯度；在优化器更新模型参数时，会使用float32的优化器状态、float32的梯度、float32的模型参数来更新模型参数。

推理显存占用约为2*参数量，单位B。如果使用KV cache来加速推理过程，KV cache也需要占用显存，约为，b是batch，l是transformer层数，h指隐藏层维度，s是输入序列长度，n是输出序列长度，4=2*2，k和v的cache，每个cache fp16存储，占用2B。

计算量FLOPs约为

计算量和参数量的关系，近似认为，在一次前向传递中，对于每个token，每个模型参数，需要进行2次浮点数运算，即一次乘法法运算和一次加法运算。一次训练迭代包含了前向传递和后向传递，后向传递的计算量是前向传递的2倍。因此，一次训练迭代中，对于每个token，每个模型参数，需要进行6次浮点数运算。

训练时间估计参考下面的公式，8是因为激活重计算技术来减少中间激活显存需要进行一次额外的前向传递，即4*2次浮点数运算。

中间激活的显存占用大小约为，其中b是batch，s是序列长度，a是注意力头数，l是transformer层数，h指隐藏层维度。在训练过程中中，模型参数（或梯度）占用的显存大小只与模型参数量和参数数据类型有关，与输入数据的大小是没有关系的。优化器状态占用的显存大小也是一样，与优化器类型有关，与模型参数量有关，但与输入数据的大小无关。而中间激活值与输入数据的大小（批次大小 和序列长度是成正相关的，随着批次大小和序列长度的增大，中间激活占用的显存会同步增大。

参考资料：分析transformer模型的参数量、计算量、中间激活、KV cache

MBU和MFU

MBU(模型带宽利用率) = 实际内存带宽 / 峰值内存带宽，其中实际内存带宽为(模型参数大小+KV缓存大小) / 每token生成时延。如70亿参数的16位精度的模型(大小为14GB)，每token时延为14ms，则实际内存带宽为1TB/s，如果峰值内存带宽为2TB/s，则MBU=50%。

MFU(模型FLOPs利用率)是实际计算量/理论算力。

两者的关系见下图。红色区域表示batch很小时主要是带宽瓶颈，橙色区域表示batch很大时主要是计算瓶颈。现实情况下，对于小batch（红色区域白点），观察到的性能低于最大吞吐量，降低程度可通过MBU来度量。对于大batch（黄色区域白点），系统受计算限制，实际所占的吞吐量以MFU衡量。

参考资料：A guide to LLM inference and performance 

语言大模型推理性能工程：最佳实践

知名产品

LLM

GPT4：OpenAI

Claude：Anthropic

文生图

DALL·E：OpenAI

Midjourney：Midjourney

Stable Diffusion：Stability AI

Imagen：Google

Gemini：Google

eDiff-I：Nvidia

文生视频

Sora：OpenAI

Gen-2：Runway

Pika：Pika Labs

大模型推理实例

Qwen1.5-72B

#网址 https://huggingface.co/Qwen/Qwen1.5-72B-Chat
 
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
 
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-72B-Chat",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-72B-Chat")
 
prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template( #此命令需要在较新transformers版本上支持，如4.37.0
    messages,  #此版本的信息可以在Qwen1.5-72B-Chat/config.json的transformers_version字段看到
    tokenize=False,
    add_generation_prompt=True
)
#拼好的prompt像下面这样，实际就是问了“what is your name?”
#<|im_start|>system
#You are a helpful assistant.<|im_end|>
#<|im_start|>user
#what is your name?<|im_end|>
#<|im_start|>assistant
 
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
 
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

参数repetition_penalty，presence_penalty和frequency_penalty的区别

Repetition Penalty

• 也称为“重复惩罚”或“重复项惩罚”。
• 它主要针对连续生成序列中相同词汇或短语的重复现象。
• 当模型在生成下一个词时，如果这个词与前几个生成的词完全相同，重复惩罚就会增加生成该词的负log概率，也就是说，模型在决定生成下一个词时会因为这个惩罚而更少选择最近刚刚生成过的词。
• 取值范围通常是一个大于等于1的浮点数，通常默认设置为1（无惩罚），当需要抑制重复时会设置为大于1的值。
• 值越大，模型在生成下一个词时，如果该词之前不久已经出现过，那么它的生成概率会被进一步降低，从而更倾向于生成不同的词汇，减少连续重复的现象。

Presence Penalty

• 这个参数同样用于惩罚模型在生成文本时对已出现过的任意位置词汇的偏好。
• 不仅限于连续重复，而是对整个生成序列中已出现过的任何词汇或信息都会产生影响。
• 如果设置了 presence_penalty > 0，对于那些在整个生成文本中已经出现过的词，不论它们是否连续出现，模型都会在计算其生成概率时施加一个额外的惩罚因子。
• 取值范围也是通常为一个大于等于0的浮点数，且默认情况下可能设置为0（不惩罚）
• 当 presence_penalty 被设置为一个大于0的值时，模型会在计算整个序列中每个词的生成概率时考虑它已经出现过的次数，并对其施加一个额外的惩罚。
• 值越大，模型对已经在输出序列中出现过的任何一个词的再次生成都会更加谨慎，这有助于整体上减少重复内容和过度依赖某些特定词汇的现象。

Frequency_Penalty:

• 作用：类似于repetition_penalty，但关注的是整个词汇表中某个词汇的全局出现频率。当frequency_penalty > 0时，高频词汇在生成文本时会被系统性地降权，有助于增加生成文本的多样性，避免过度依赖常用的高频词汇。
• 实现：在生成过程中，可能会统计词汇在整个训练数据集或者前缀文本中的出现次数，并对概率分布进行调整，使得高频词汇生成的可能性降低。
• 当 frequency_penalty = 0 时，不对词汇的出现频率进行任何惩罚。
• 当 frequency_penalty > 0 时，模型会减少高频词汇被选中的概率，促进文本多样性和新颖性。值越大，对高频词的抑制越强。

top_k, top_p, top_k_top_p和 beam_search的区别

top_k, top_p, top_k_top_p, 和 beam_search是自然语言处理中的几种不同的解码策略，它们都应用于基于概率分布生成文本的场景，尤其是对于自回归式的语言模型。下面是每种策略的基本原理和区别：

1. Top-K Sampling (top_k):
   在每次生成一个新词时，模型会预测下一个词的概率分布，然后只保留概率最高的K个词汇，并重新归一化这些词的概率分布，最后从这K个词中随机选择一个作为下一个生成的词。这种方法有助于避免生成过于罕见的词汇，但可能会导致文本多样性受限。

2. Nucleus Sampling (top_p):
   类似于Top-K，但在这种情况下，不是选取固定数量的最高概率词汇，而是保留累积概率大于给定阈值P的所有词汇，这样可以包容一些低频但重要的词汇。这种方法通常允许更多的多样性，因为它不强制限定候选词的数量。

3. Top-K Top-P Sampling (top_k_top_p):
   结合了Top-K和Top-P的特点，在每次生成时先按照累积概率排序，然后选择那些累积概率之和达到阈值P内的前K个词汇进行采样。这种方式既保证了一定的多样性，又能控制生成词汇的稀有程度。

4. Beam Search (beam_search):
   这是一种基于搜索树的策略，它维护一组（beam宽度所确定的）最有希望的候选序列，每个时间步都会扩展每个序列的一个后代，并保留总得分（通常是概率乘积）最高的beam宽度个序列继续向前生成。相比于纯粹的随机采样，Beam Search倾向于产生更高概率的文本，但可能会牺牲一定的创造性，因为其倾向于保守的选择。

总结来说，top_k 和 top_p 更侧重于探索生成的多样性，而 beam_search 则是为了找到全局最优（或近似最优）的序列。top_k_top_p试图平衡多样性与生成质量。在实践中，beam_search 适用于需要高质量、连贯性强的文本生成场景，而 top_k 或 top_p 等采样策略更适合于追求新颖性和创造性的应用场合。使用哪种策略取决于具体的应用需求以及计算资源的限制。