当前位置:   article > 正文

transformers里的AutoTokenizer之返回值token_type_ids(二)

autotokenizer

在很多案例中,AutoTokenizer会返回token_type_ids这个结果:

 token_type_ids的解释:

对于两个句子对来说,上一句都标识为0,下一句都标识为1。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/830184
推荐阅读
相关标签
  

闽ICP备14008679号