DeepSpeed通过系统优化加速大模型推理_mangrent deepspeed

作者：从前慢现在也慢 | 2024-02-17 22:57:39

踩

mangrent deepspeed

原文地址：DeepSpeed: Accelerating large-scale model inference and training via system optimizations and compression
原文作者：DeepSpeed Team Rangan Majumder , Vice President Andrey Proskurin , Corporate Vice President of Engineering
译文出自：dl_system
本文永久链接：DeepSpeed 通过系统优化加速大模型推理
译者：harleyszhang，译者对原文有所删改和优化。

1，模型训练时间过长

伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 个月仅翻了 1.7 倍。模型参数量的增长和硬件的显存的增长之间的差距越来越大&#

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/102109