【所有方法一览】大模型推理优化：在更小的设备运行、推理增速_大模型调优矩阵线性

作者：盐析白兔 | 2024-08-21 21:18:14

踩

大模型调优矩阵线性

大模型推理优化：在更小的设备运行、推理增速

知识蒸馏（优先）
模型剪枝
模型量化（优先）
参数共享
低秩分解
参数搜索

知识蒸馏：

让大、小模型最后一层输出尽可能接近。

学习的是最后一层的概率分布，但大模型不止最后一层，还有很多中间层。

主流是知识蒸馏，但需要多训练一个模型，成本更高。

把其中一些参数（矩阵）去掉，接近 0 的参数。

对于注意力层，定义重要性指标，去掉不重要的层。

把浮点数变成定点数。

主流框架都支持。

相邻矩阵共享同一套参数，原先相邻矩阵参数都不同。

用一小维代替整个参数矩阵。

找更好的神经网络配置，比如加卷积层、找更好的非线性函数、注意力机制优化等。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/1013380

【所有方法一览】大模型推理优化：在更小的设备运行、推理增速_大模型调优 矩阵 线性