当前位置:   article > 正文

NLP中<SOS>、<EOS>、<UNK>、<PAD>等标识符的含义_

1.<SOS>、<BOS>、<GO>:代表一个序列的开始。

2.<EOS>:代表一个序列的结束,作为判断终止的标签。

3.<MASK>:用于遮盖句子中的一些单词。

4.<UNK>:未知字符,代表词典中没有的词。

5.<SEP>: 用于分隔两个输入句子,例如输入句子 A 和 B,要在句子 A,B 后面增加 <SEP> 标志。

6.<CLS> :放在句子的首位,表示句子的开始,就是classification的意思,通常会在bert等模型出现。

7.<PAD>:补全字符,例如要将句子处理为特定的长度,我们就要在句子前后补<PAD>。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/凡人多烦事01/article/detail/526406
推荐阅读
相关标签
  

闽ICP备14008679号