天池零基础入门NLP - 新闻文本分类Top1方案的bert4torch复现_bert 长文本新闻分类

作者：小丑西瓜9 | 2024-04-05 02:16:13

踩

bert 长文本新闻分类

天池有些长期比赛可以练习玩玩（还可以继续提交），于是试了下简单的新闻文本分类任务，Top1的解决方案思路是”预训练+fgm+交叉验证模型融合“，代码是基于bert4keras的，本人基于bert4torch复现了”fgm+交叉验证模型融合“部分（未复现预训练），默认参数下f1=0.9727，具体详细详细解决方案请参考原作者。

复现指标

三个指标分别为作者提交，本人自己跑，bert4torch复现跑

解决方案	说明	指标
Top1	——	正式赛f1=0.9735
Top1复跑	bert以第1折交叉epoch=5初始化，1个epoch，seed=0, 1993, 2020三者融合	长期赛f1=0.9736
Top1_bert4torch复现	bert+attn+fgm+cv	长期赛f1=0.9727, dev_5cv=(0.97083, 0.97074, 0.96914, 0.96892, 0.96613)

bert4torch框架介绍

bert4torch是一个基于pytorch的训练框架，前期以效仿和实现bert4keras的主要功能为主，特点是尽量简洁轻量，提供丰富示例，有兴趣的小伙伴可以试用，欢迎star。

bert4torch项目github.com/Tongjilibo/bert4torch

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/362659

天池零基础入门NLP - 新闻文本分类Top1方案的bert4torch复现_bert 长文本 新闻分类

复现指标

bert4torch框架介绍

天池零基础入门NLP - 新闻文本分类Top1方案的bert4torch复现_bert 长文本新闻分类