用GPTQ量化ChatGLM2-6B_chatglm gptq wbits 量化

from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
from datasets import load_dataset
 
 
model_id = "THUDM/chatglm-6b"
dataset = ["auto-gptq 是一个基于 GPTQ 算法的易于使用的模型量化库，具有用户友好的 api。"]
#可选择公开数据集量化
tokenizer = AutoTokenizer.from_pretrained(model_id,trust_remote_code=True)
gptq_config = GPTQConfig(bits=8, dataset=dataset, tokenizer=tokenizer)
 
#注意，quantization_config用于选择数据集，输出量化后的模型
quant_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto",quantization_config=gptq_config,trust_remote_code=True)

不知道为什么会报错，如果有大佬看到可以帮忙看一看吗