杭州人工智能计算中心率先实现基于昇思MindSpore的LLaMa2、Stablediffusion2.1大模型训练部署_mindspore llama2

杭州人工智能计算中心成功实现LLaMA2、Stablediffusion2.1等主流大模型上线，是全国首个在自主可控环境及自主可控AI框架下成功上线的人工智能计算中心。昇思MindSpore是华为开源的首个业界全场景AI融合框架，原生支持AI大模型与科学智能。杭州人工智能计算中心基于昇思，以及大模型开发套件MindSpore Transformer将LLaMa2 70B、Stablediffusion2.1大模型适配到本地环境中，实现高效运行。

为方便开发者群体高效创新，杭州人工智能计算中心上线了昇思MindSpore全流程使能大模型的工具与方法，从开发、训练、微调到部署，覆盖低参微调算法、分布式推理，让开发者有更多样化的选择快速打造大模型

在杭州AICC环境下，开发者可以通过notebook调试，通过训练作业拉起模型训练，几百张卡的分布式训练一键拉起，省去一台台搭建裸机环境的步骤。

  LLaMa2

Llama 2包含了70亿、130亿和700亿参数的模型。Meta正式发布Llama 2后，Llama 2强大的参数规模以及性能表现，对OpenAI带来了不小的压力，人称“GPT-4最强平替”。

Llama-2相比Llama-1有不少技术层面的改进，从而带来了模型性能、推理效率以及安全性等方面的有效提升。具体而言，重要的改进有以下几点：

1、模型架构上使用Group-Query-Attention(GQA)来提高模型推理效率，语境长度从2K增加一倍到4K。

2、预训练语料从1.4T tokens增加到2T tokens。

3、在监督微调（SFT）阶段更加注重数据集质量，使用更少但质量更高的SFT数据相比使用百万量级的公开SFT数据，效果显著提升。

4、引入了三项安全训练技术Supervised Safety Fine-Tuning、Safety RLHF、Safety Context Distillation 提升模型的安全性。

 ✦ 

Stablediffusion2.1

Stable diffusion是一个基于Latent Diffusion Models（潜在扩散模型，LDMs）的文图生成（text-to-image）模型. 具体来说，Stable Diffusion采用 UNetModel 这种 Encoder-Decoder 结构来实现扩散的过程. 在Stable Diffusion中，通过将人类语言转换成机器能理解的数学向量，再结合语义向量，从纯噪声开始逐步去除噪声，生成图片信息隐变量，最后将图片信息隐变量转换为一张真正的图片。

经迁移及优化后，sd2在aicc上支持了全量训练，lora训练，以及flashattention优化

Flashattention作为优化显存的工具，有效的提高了训练batch_size 数量。

以sd2.0为例

未开启flashattention

未开启flashattention后

提升了约60%的数据并发量，耗时仅提升10%

推理效果↓

关键词：克苏鲁和红月

关键词：河边看书的女孩

 ✦ 

杭州人工智能计算中心

杭州人工智能计算中心是全市首个公共服务性质的人工智能算力基础设施，致力于打造人工智能产业和数字经济的底座。由杭州高新区（滨江）管委会、政府投资，杭州高新智能科技有限公司建设与运营。一二期面积2700平方米，规模140P，并将逐步扩容。计算中心采用自主可控的昇腾AI集群，为政府、企业、科研机构、高校等提供公共普惠算力。该中心已于2022年5月20日在杭州市滨江区海创基地上线，提供AI模型训练、应用孵化、产业推广和人才培养等服务助力杭州国家新一代人工智能创新发展试验区、应用先导区建设