学习小型gpt源码（自用）

作者：小惠珠哦 | 2024-07-26 19:46:35

踩

学习小型gpt源码（自用）

（b站上有一系列课，从数据处理到模型构建和训练使用）

什么是batch？

不同batch的长度可以不一样，但是同一个batch内长度一样！

如果使用相同的预训练embedding矩阵，同样的词在不同的模型中应该对应相同的初始向量。（没有微调embedding矩阵的情况下）使用相同的词汇表即可。

这种mask用于防止模型在训练过程中看到未来的词汇。通常在自回归模型（如语言模型）中使用，在生成某个词时，只允许模型看到它之前的词。

这种mask用于在处理不定长序列时屏蔽填充的部分。填充通常是为了将所有序列扩展到相同长度，以便可以批处理。我们不希望模型在处理这些填充值时产生误导。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小惠珠哦/article/detail/886929?site