赞
踩
Bert是在大规模的语料下进行MLM训练得到的结果。然而,在具体的任务下,再在自己新的数据集进行finetune的效果并不会特别好。因此,需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练,也就是further pretrain/ repretrain,与此相关的论文有ACL2020论文《Don’t Stop Pretraining 》,也有一篇将主题模型与bert相结合做semantic matching的工作,它们的目的都是提升Bert在target domain的效果。
主要参考以下链接
按照链接1上的说明进行操作,我没有将代码跑通,主要是版本问题和Out of memory 问题。于是,尝试链接3下的官方链接,但是也失败了,数据预处理过程就出现了问题,因为服务器不能访问dataset 库里面提供的text.py外网链接,后来通过copy的方式将text.py 文件保存在本地解决了该问题,但是后面又出现了0 sample的问题、index出界的问题,根源还是数据的预处理过程,这样搞了一天,我也服了我自己。最后,还是根据链接1,重新debug,至少它的数据处理没问题,将代码跑通。
务必安装以下版本的transformer,其他版本不保证,至少最新的我试过不行。
transformers==3.0.2
torch = 1.4.0
我的数据格式如下:
每一行就是一条数据,数据之间没有空一行,注意此数据格式对应的参数--line_by_line
应该设置为True
若数据格式为:
每一行就是一条数据,数据之间有空一行,注意此数据格式对应的参数--line_by_line
应该设置为False
。这种数据我没有尝试过,我猜的是设置为False,哈哈哈哈
run_language_model_bert.py
具体代码见附录
运行命令:
python run_language_model_bert.py --output_dir=further_pretrain_sentiment --model_type=roberta--model_name_or_path=robert_pretrain_model --do_train --train_data_file=train_sentiment_500k.txt --mlm --per_device_train_batch_size=32 --line_by_line --overwrite_output_dir --block_size=128
参数说明:
output_dir
:输出路径,训练结束后,该文件夹下会保存训练之后的文件,包括pytorch_model.bin
、vocab.txt
、config.json
等等model_type
:设置为bert
或者roberta
model_name_or_path
:原始的Bert/Roberta模型路径,我这里是robert_pretrain_model
do_train
:训练的Flagtrain_data_file
:自己的训练语料路径,我的文件是与代码在同一路径下的train_sentiment_500k.txt
do_eval
:验证的Flag,为了节省时间,我没有进行验证,可以自己选择eval_data_file
:自己的验证语料路径,在验证flag为True的情况下mlm
:我们要做的就是MLM训练,因此设置为True
per_device_train_batch_size
: 训练时,每个gpu上运行的batch 大小,根据自己情况进行设置,我这里GPU共2张卡,每张卡16GB,我设置的大小为32line_by_line
: 根据自己的语料格式,自行选择,若每两条数据之间没有空一行,务必设置为True
overwrite_output_dir
:是否覆盖output_dir
下已有的文件。若不设置为True,输出路径下有文件时,代码会停止运行,给人提示。自己依情况选择block_size
:若设置为-1
,则会取语料中句子的最大长度
与 512
之间的较小值。一般语料句子最大长度都比较长,因此会很大,则会造成out of memory
现象,即使再减小batch_size也无济于事,之前就是因为这个问题,解决了很久,最后看代码、问师兄才解决,我一看out of memory,就减小batch_size,然而并没有什么用。因此,务必自己设定一个句子长度最大值,我这里是128.
其中,cached_lm_BertTokenizer_1000000000000000019884624838654_train.txt
等类似文件是代码运行数据预处理之后产生的。
原始代码会自动调用多GPU,我设置了让它只调用0号GPU.
先运行:export CUDA_VISIBLE_DEVICES=0
再运行 3.3命令行
下图显示的是--per_device_train_batch_size=128
、--block_size=64
0 号 GPU使用情况:
训练结果保存在指定的 output_dir
下,训练结束后,该文件夹下生成以下文件:
若设置了do_eval
验证的Flag,该文件夹下还应有验证的结果保存文件eval_results_lm.txt
run_language_model_bert.py
代码如下:
# coding=utf-8 # Copyright 2018 The Google AI Language Team Authors and The HuggingFace Inc. team. # Copyright (c) 2018, NVIDIA CORPORATION. All rights reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. """ Fine-tuning the library models for language modeling on a text file (GPT, GPT-2, CTRL, BERT, RoBERTa, XLNet). GPT, GPT-2 and CTRL are fine-tuned using a causal language modeling (CLM) loss. BERT and RoBERTa are fine-tuned using a masked language modeling (MLM) loss. XLNet is fine-tuned using a permutation language modeling (PLM) loss. """ import logging import math import os import torch from dataclasses import dataclass, field from typing import Optional from transformers import ( CONFIG_MAPPING, MODEL_WITH_LM_HEAD_MAPPING, AutoConfig, AutoModelWithLMHead, AutoTokenizer, DataCollatorForLanguageModeling, HfArgumentParser, LineByLineTextDataset, PreTrainedTokenizer, TextDataset, Trainer, Trainer, TrainingArguments, set_seed,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。