103、微调bert 模型_bert模型微调一次大概多久

作者：笔触狂放9 | 2024-04-06 07:31:47

踩

bert模型微调一次大概多久

自从老大离职去了Oracle之后，就一直觉得找不到组织了。

老大在的时候真的觉得有什么新的想法可以和老大说，然后老大会权衡利弊。

然后如果可行真的会让我们付诸实际行动的。

然而老大离职之后，感觉没有领导了。只能自己漫无目的的工作了。

下面转到正题，在Azure K80 深度学习主机上面微调bert模型

1、下载cuda9.0的驱动，因为BERT模型需要的tensorflow-gpu版本要大于等于1.12.0

2、安装cuda 9.0

3、安装和配置cudnn

4、安装tensorflow-gpu 1.12.0

5、检查GPU和cuda 是否可用，就是安装成没成功

6、微调bert模型

由上图所示，微调bert大概需要12GB左右的显存，所以一般本地机器的显卡是不够用的。需要使用azure上面的机器

在微调的过程中还有很多技巧，不能微调时间长了，导致过拟合。具体选择哪一个step的模型，需要使用tensorboard --logdir

来查看loss和accuracy。

好啦今天就写这些啦。

祝您身体健康，天天开心。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/370598?site