解决：ModuleNotFoundError: No module named ‘tiktoken’_modulenotfounderror: no module named 'tiktoken

解决：ModuleNotFoundError: No module named ‘tiktoken’

背景

在使用之前的代码时，报错：
Traceback (most recent call last):
File “xxx”, line xx, in
import tiktoken
ModuleNotFoundError: No module named ‘tiktoken’

报错问题

  Traceback (most recent call last): 
    File "xxx", line xx, in  
          import tiktoken 
  ModuleNotFoundError: No module named 'tiktoken'

1
2
3
4
5
6

报错翻译

主要报错信息内容翻译如下所示：

  Traceback (most recent call last): 
    File "xxx", line xx, in  
          import tiktoken 
  ModuleNotFoundError: No module named 'tiktoken'

1
2
3
4
5
6

翻译：

追溯（最近一次通话）：
文件“xxx”，第xx行，在
导入tiktoken
ModuleNotFoundError:没有名为“tiktoken”的模块

1
2
3
4
5
6

报错位置代码

...
      import tiktoken 
...

1
2
3
4
5

报错原因

经过查阅资料，发现是这个错误通常是由于缺少tiktoken的依赖库，就会出现这样的提示。

小伙伴们按下面的解决方法即可解决！！！

解决方法

要解决这个错误，需要安装tiktoken的依赖库，即可解决。

方法一，直接安装

在window下安装tiktoken

pip install tiktoken
1

如果你嫌下载慢，可以更改下载源，

比如，利用豆瓣的下载源

pip install tiktoken -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
1

附，国内各大源列表：

如果你使用的是conda环境，请尝试使用conda install安装tiktoken。

conda install -c https://conda.anaconda.org/menpo tiktoken
1

如果你使用的是pip安装tiktoken，可以尝试使用以下命令安装：

pip install --no-cache-dir tiktoken
1

方法二，手动下载安装

将安装包手动下载到本地进行安装，然后在cmd 中进入安装包的路径下面用：cd +路径，进入。

然后输入以下命令：

pip install tiktoken-0.5.2-cp312-cp312-win_amd64.whl

1
2

就可以进行安装了。

附下载链接，点击下载对应版本的dilb链接
https://pypi.org/project/tiktoken/#description

方法三，编译安装

如果上述方法都不能解决问题，你可以尝试从源代码编译安装tiktoken。具体步骤可以参考tiktoken的官方文档。

tiktoken 简介

tiktoken是OpenAI于近期开源的Python第三方模块，该模块主要实现了tokenizer的BPE（Byte pair encoding）算法，并对运行性能做了极大的优化。本文将介绍tiktoken模块的使用。

BPE(Byte pair encoding)算法是NLP中常见的tokenizer方式，关于其介绍和实现原理，读者可参考深入理解NLP Subword算法：BPE、WordPiece、ULM。

tiktoken已开源至Github，下图是使用GPT-2 tokenizer在1G文本上进行的性能测试，它会比其它开源的tokenizer库运行快3-6倍。

Github地址：https://github.com/openai/tiktoken
官方pip：https://pypi.org/search/?q=tiktoken

今天的分享就到此结束了

欢迎点赞评论关注三连