当前位置:   article > 正文

自然语言处理常用标识符<UNK>,<PAD>,<SOS>,<EOS>等_

  • <UNK>: 低频词或未在词表中的词
  • <PAD>: 补全字符
  • <GO>/<SOS>: 句子起始标识符
  • <EOS>: 句子结束标识符
  • [SEP]:两个句子之间的分隔符
  • [MASK]:填充被掩盖掉的字符

Bert标识符

  • [CLS]:句子开头,以[CLS]开头,随后跟句子的第一个单词
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/696455
推荐阅读
相关标签
  

闽ICP备14008679号