不用再找了，这是大模型实践最全的总结_bianque 大模型

作者：秋刀鱼在做梦 | 2024-07-24 13:58:50

踩

bianque 大模型

随着ChatGPT的迅速出圈，加速了大模型时代的变革。对于以Transformer、MOE结构为代表的大模型来说，传统的单机单卡训练模式肯定不能满足上千（万）亿级参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练。

最近，我也在探索大模型相关的一些技术，下面做一个简单的总结，后续争取每一个季度更新一次，本文主要涉及AI集群、AI集群通信、大模型训练（参数高效微调）、大模型推理加速、大模型评估、大模型生态相关技术等相关内容.

同时，也对之前写过的一些大模型相关的文章进行了汇总，篇幅太长，建议先收藏后再阅读。

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

建了技术交流群&星球！想要资料、进交流群的同学，保存图片到wx扫描二v码免费领取【保证100%免费】

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/875090