ChatGLM3 多轮推理报错解决方案——AttributeError: can’t set attribute ‘eos_token’_attributeerror: can't set attribute 'eos_token

一.报错形式

在推理微调时发生报错

python inference_hf.py output/checkpoint-3000 --prompt "你是谁?"
AttributeError: can’t set attribute ‘eos_token’

二.问题来源

网络上的镜像ChatGLM3模型过时，无法识别special tokens
（例如'eos_token','pad_token','unk_token'）

三.解决方案

请对照下列文件更新ChatGLM3模型在huggingface的文件

tokenizer_config.json
special_tokens_map.json
tokenization_chatglm.py
modeling_chatglm.py

需要将tokenizer_config.json文件中"auto_map"修改为:

"auto_map": {
    "AutoTokenizer": [
      "tokenization_chatglm.ChatGLMTokenizer",
      null
    ]
  },

以确保读取的是本地模型,以免代码执行联网下载