加载保存的bert模型时缺少“model.embeddings.position_ids”_cond_stage_model.clip_g.transformer.text_model.emb

作者：花生_TL007 | 2024-04-28 01:38:45

踩

cond_stage_model.clip_g.transformer.text_model.embeddings.position_ids

重新新建了个环境，跑之前的代码的时候，出错了。使用transformers加载bert模型，（使用了subclass Berttokenizer，BertModel来加载模型），添加了其他层，fintune之后，使用torch.save保存，之后使用torch.load加载，报错，缺少model.embeddings.position_ids。最直接的解决方案，回退transformers版本。我回退到了下之前能够正常加载的版本（2.6），或者是使用 BertPreTrainedModel。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/499772