大模型常见面试题 - 常用微调方法LORA和Ptuning的原理_lora微调

作者：喵喵爱编程 | 2024-07-22 18:20:48

踩

lora微调

01. 大模型常用微调方法LORA和Ptuning的原理

Lora方法的核心是在大型语言模型上对指定参数增加额外的低秩矩阵，也就是在原始PLM旁边增加一个旁路，做一个降维再升维的操作。并在模型训练过程中，固定PLM的参数，只训练降维矩阵A与升维矩阵B。

Ptuning方法的核心是使用可微的virtual token替换了原来的discrete tokens，且仅加入到输入层，并使用prompt encoder（BiLSTM+MLP）对virtual token进行编码学习。

Stable Diffusion 总共包含三个主要的组件，其中每个组

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】