devbox
爱喝兽奶帝天荒
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【AI大模型】Transformers大模型库（四）：AutoTokenizer_transformers autotokenizer

作者：爱喝兽奶帝天荒 | 2024-06-28 23:13:55

赞

踩

transformers autotokenizer

目录​​​​​​​

一、引言 

二、自动分词器（AutoTokenizer）

2.1 概述

2.2 主要特点

2.3 代码示例

三、总结

一、引言 

 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】

推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。