大模型相关技术汇总分析_大模型用的技术有哪些

作者：小丑西瓜9 | 2024-06-01 22:43:12

踩

大模型用的技术有哪些

完整的大模型由：芯片层->框架层->模型层组成

大模型训练过程：大模型一定是分布式训练，例如Paddle框架常采用四个策略：

1、流水并行策略；

2、模型并行策略；

3、数据并行策略；

4、分组参数切片，Sharding策略。

即从数据，模型，参数及执行四个方面均获得了最佳训练效果。

训练过程中的优化从四个角度进行分析：

1、IO处理优化；

2、计算效率优化；

3、通信效率优化；

4、现存效率优化。

大模型是今年最火的概念，大模型时代必备技巧之一是-----提升工程(Prompt Engineering)。

随着大模型技术的发展，基于prompt方式对模型进行微调获得输出是非常普遍的做法，为获得更好的输出，对prompt进行微调是非常重要的。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/659696