【BERT类预训练模型整理】_bert中文预训练模型

BERT类预训练模型整理

• 1.BERT的相关内容
• • 1.1 BERT的预训练技术
  • • 1.1.1 掩码机制
    • 1.1.2 NSP（ Next Sentence Prediction）
  • 1.2 BERT模型的局限性
• 2. RoBERTa的相关内容
• • 2.1 RoBERTa的预训练技术
  • • 2.1.1动态掩码（Dynamic Masking）
    • 2.1.2取消NSP预训练任务
    • 2.1.3 大批次（Larger Batch Size）
• 3.ERNIE
• • 3.1 ERNIE的预训练技术
  • • 3.1.1 Knowledge Masking Task
    • 3.1.2 多个异源语料
• 4. SpanBERT的相关内容
• • 4.1 SpanBERT的预训练技术
  • • 4.1.1Span mask方案
    • 4.1.2 加入SBO 训练目标
    • 4.1.3 去除NSP任务
• 5. ALBERT的相关内容
• • 5.1 ALBERT中主要有三个改进方向。
  • • 5.1.1 对Embedding因式分解（Factorized embedding parameterization）
    • 5.1.2 跨层的参数共享（Cross-layer parameter sharing）
    • 5.1.3 句间连贯（Inter-sentence coherence loss）
    • 5.1.4 移除dropout
• 6. MacBERT的相关内容
• • 6.1 研究背景
  • 6.2 MacBERT的预训练技术
  • • 6.2.1 MLM：
    • 6.2.2 NSP：
    <