ChatGLM-6B踩坑_揽睿星舟接口地址

• 因为模型是单独文件夹存储的，所以需要修改启动脚本中读模型文件的代码
• 为了能从公网访问我们的ChatGLM，需要修改监听地址为0.0.0.0，端口为27777，这个是揽睿星舟平台的调试地址

修改步骤：

1.修改web_demo2.py文件中的模型路径，替换为模型的绝对路径，修改方法如下：

修改前的代码

     tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
     model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

修改后的代码

     tokenizer = AutoTokenizer.from_pretrained("/home/user/imported_models/chatglm-6b", trust_remote_code=True)
     model = AutoModel.from_pretrained("/home/user/imported_models/chatglm-6b", trust_remote_code=True).half().cuda()

修改监听

demo.queue().launch(share=True, inbrowser=True,server_name="0.0.0.0")