Gemma使用体验_gemma 最大输入token

google开源了可以在笔记本电脑上运行的大模型Gemma，今天试了一下Gemma-2B模型， 结果有点出乎意料。

from transformers import AutoTokenizer, AutoModelForCausalLM
 
 
path = "D:\\huggingface\\google\\gemma-2b"
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path)
 
input_text = "1加1等于几"
input_ids = tokenizer(input_text, return_tensors="pt")
 
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))
 

程序运行结果如下

UserWarning是提示模型生成的结果，默认token长度为20，可以自己指定token长度，比如设置max_new_tokens=100，生成的结果就会更长一些。

outputs = model.generate(**input_ids,max_new_tokens=100)

再试了一下英文对话