【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘的解释和处理办法_valueerror: tokenizer class qwentokenizer does not

摘要：

在尝试将模型文件从 [Hugging Face Model Hub](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main) 下载到本地并使用 `from_pretrained` 方法加载本地磁盘上的分词器时，遇到了一个错误。错误源自 `tokenization_auto.py` 文件，提示 "Tokenizer class QWenTokenizer does not exist or is not currently imported." 这意味着 `QWenTokenizer` 这个 tokenizer 类不存在，或者没有被当前程序导入。

错误的根源在于使用 `from_pretrained` 方法时没有包含 `trust_remote_code=True` 参数。这个参数是用于指定用户是否信任从 Hugging Face 模型库中下载的代码。

通过添加 `trust_remote_code=True` 参数，用户可以成功加载和使用 `QWenTokenizer`。这是因为这个参数允许执行存储在 Hugging Face Hub 上的自定义模型代码。但需要注意的是，这个操作应该谨慎进行，只有在用户完全信任并已经检查确认代码是安全的情况下，才应该设置 `trust_remote_code` 为 `True`，以防止潜在的安全风险。

通过本文您可以了解以下信息：

1. **模型和分词器的加载**:
   - 使用 `from_pretrained` 方法加载本地或在线的预训练模型和分词器。

2. **错误诊断和解决**:
   - 分析 `tokenization_auto.py` 中的错误信息。
   - 了解 `