Langchain-Chatchat项目：1.1-ChatGLM2项目整体介绍_model.chat

  ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练)；更高效的推理(基于Multi-QueryAttention技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用)。

1.环境安装
  下载仓库并安装依赖，如下所示：

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt
1
2
3

2.代码调用
  通过如下代码调用 ChatGLM2-6B 模型来生成对话：

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda')
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/1009594