devbox
凡人多烦事01
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

ChatGLM：清华开源本地部署（2023/05/06更新）_chatglm.cpp 清华源

作者：凡人多烦事01 | 2024-02-25 00:28:16

赞

踩

chatglm.cpp 清华源

文章首发及后续更新：https://mwhls.top/4500.html，无图/无目录/格式错误/更多相关请至首发页查看。
新的更新内容请到mwhls.top查看。
欢迎提出任何疑问及批评，非常感谢！

服务部署汇总

本来这篇是为了打比赛写的，写着写着发现两个问题，AI部署连续几篇，等我比赛打完再发模型都不知道更新到哪个版本了。所以就直接发了。题图随便放个，我之后部属个文生图让它生成个。嘻嘻，蹭个热度
有问题推荐去 GitHub Issue，当然评论问我也行。

2023/05/06更新：增加 API 调用及

ChatGLM

清华开源大模型-ChatGLM-2023/04/29
ChatGLM-6B 环境配置及启动-2023/04/29
  1. GitHub 官方教程
  2. 创建虚拟环境：conda create --name ChatGLM python=3.8
  3. 进入虚拟环境：conda activate ChatGLM
  4. 下载源码：https://github.com/THUDM/ChatGLM-6B/archive/refs/heads/main.zip
  5. 进入该目录，安装依赖：pip install -r requirements.txt
  6. 安装 Torch：conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch
  • 这是我环境可以用的，不会的可以百度 PyTorch 安装。
  1. 下载模型
  • 注：我下载的是int8量化的。
  • 清华云
    • 这里会缺少文件，下载后还要在HuggingFace里下载除了最大文件以外的所有文件（有一个重复，无需下载）。
  • HuggingFace
  1. 文件修改：修改 web_demo.py 文件的开头几行如下，pretrain_path指的是模型文件夹的绝对路径。
  2. 运行 web_demo.py，成功
pretrain_path = r"F:\0_DATA\1_DATA\CODE\PYTHON\202304_RJB_C4\ChatGLM\chatglm-6b-int8"
tokenizer = AutoTokenizer.from_pretrained(pretrain_path, trust_remote_code=True)
model = AutoModel.from_pretrained(pretrain_path, trust_remote_code=True).half().cuda()

  • 1
  • 2
  • 3
ChatGLM Web demo 源码阅读-2023/04/30
  • 涉及猜想，因为可以试错，所以有的地方可能不准确。
  • 小加了两个模式，一个精准一个创造性，类似New Bing。
from transformers import AutoModel, AutoTokenizer
import gradio as gr
import mdtex2html
import os

pretrain_path = "chatglm-6b-int8"
pretrain_path = os.path.abspath(pretrain_path)
tokenizer = AutoTokenizer.from_pretrained(pretrain_path, trust_remote_code=True)
model = AutoModel.from_pretrained(pretrain_path, trust_remote_code=True).half().cuda()
model = model.eval()

"""Override Chatbot.postprocess"""

# 原来self还可以这样用，学习了
def postprocess(self, y):
    if y is None:
        return []
    for i, (message, response) in enumerate(y):
        y[i] = (
            None if message is None else mdtex2html.convert((message)),
            None if response is None else mdtex2html.convert(response),
        )
    return y


gr.Chatbot.postprocess = postprocess


def parse_text(text):
    # markdown代码转html，我猜我博客的插件也是这样
    """copy from https://github.com/GaiZhenbiao/ChuanhuChatGPT/"""
    lines = text.split("\n")
    lines = [line for line in lines if line != ""]
    count = 0
    for i, line in enumerate(lines):
        if "```" in line:
            count += 1
            items = line.split('`')
            if count % 2 == 1:
                lines[i] = f'<pre><code class="language-{items[-1]}">'
            else:
                lines[i] = f'<br></code></pre>'
        else:
            if i > 0:
                if count % 2 == 1:
                    line = line.replace("`", "\`")
                    line = line.replace("<", "&lt;")
                    line = line.replace(">", "&gt;")
                    line = line.replace(" ", "&nbsp;")
                    line = line.replace("*", "&ast;")
                    line = line.replace("_", "&lowbar;")
                    line = line.replace("-", "&#45;")
                    line = line.replace(".", "&#46;")
                    line = line.replace("!", "&#33;")
                    line = line.replace("(", "&#40;")
                    line = line.replace(")", "&#41;")
                    line = line.replace("$", "&#36;")
                lines[i] = "<br>"+line
    text = "".join(lines)
    return text


# def set_mode(temperatrue_value, top_p_value):
#     return gr.Slider.update(value=temperatrue_value), gr.update(value=top_p_value)

def set_mode(radio_mode):
    # 不理解，为什么点击按钮就不能传过去，用这玩意就可以传
    mode = {"创造性":  [0.95, 0.7], 
            "精准": [0.01, 0.01]}
    return gr.Slider.update(value=mode[radio_mode][0]), gr.update(value=mode[radio_mode][1])


def predict(input, chatbot, max_length, top_p, temperature, history):
    # 新增一项
    chatbot.append((parse_text(input), ""))
    for response, history in model.stream_chat(tokenizer, input, history, max_length=max_length, top_p=top_p,
                                               temperature=temperature):
        # 新增的那项修改为推理结果
        chatbot[-1] = (parse_text(input), parse_text(response))       

        yield chatbot, history


def reset_user_input():
    return gr.update(value='')


def reset_state():
    return [], []


with gr.Blocks() as demo:
    gr.HTML("""<h1 align="center">ChatGLM</h1>""")

    # 聊天记录器
    chatbot = gr.Chatbot()
    # 同一行内，第一行
    with gr.Row():
        # 第一列
        with gr.Column(scale=4):
            # 第一列第一行，输入框
            with gr.Column(scale=12):
                user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
                    container=False)
            # 第一列第二行，提交按钮
            with gr.Column(min_width=32, scale=1):
                submitBtn = gr.Button("Submit", variant="primary")
        # 第二列
        with gr.Column(scale=1):
            with gr.Row():
                # with gr.Column():
                #     button_accuracy_mode = gr.Button("精准")
                # with gr.Column():
                #     button_creative_mode = gr.Button("创造性")
                radio_mode = gr.Radio(label="对话模式", choices=["精准", "创造性"], show_label=False)
            # 靠右的四个输入
            emptyBtn = gr.Button("清除历史")
            max_length = gr.Slider(0, 4096, value=2048, step=1.0, label="Maximum length", interactive=True)
            top_p = gr.Slider(0, 1, value=0.7, step=0.01, label="Top P", interactive=True)
            temperature = gr.Slider(0, 1, value=0.95, step=0.01, label="Temperature", interactive=True)

    # 历史记录
    history = gr.State([])

    # 按钮点击后，执行predict，并将第二个参数[...]传给predict，将predict结果传给第三个参数[...]
    submitBtn.click(predict, [user_input, chatbot, max_length, top_p, temperature, history], [chatbot, history], show_progress=True)

    submitBtn.click(reset_user_input, [], [user_input])
    # 将reset_state的结果传给outputs
    emptyBtn.click(reset_state, outputs=[chatbot, history], show_progress=True)
    radio_mode.change(set_mode, radio_mode, [temperature, top_p])
    # button_accuracy_mode.click(set_mode, [0.95, 0.7], outputs=[temperature, top_p])
    # button_creative_mode.click(set_mode, [0.01, 0.01], outputs=[temperature, top_p])

# 这玩意debug不会用啊
demo.queue().launch(share=False, inbrowser=False)


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
ChatGLM API 调用-2023/05/05
if __name__ == '__main__':
    pretrain_path = "chatglm-6b-int8"
    pretrain_path = os.path.abspath(pretrain_path)
    tokenizer = AutoTokenizer.from_pretrained(pretrain_path, trust_remote_code=True)
    model = AutoModel.from_pretrained(pretrain_path, trust_remote_code=True).half().cuda()
    model.eval()
    uvicorn.run(app, host='localhost', port=8000, workers=1)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 使用 python requests 包的调用示例
import requests

url = "http://localhost:8000"
data = {"prompt": "你好", "history": []}
headers = {'Content-Type': 'application/json'}
response = requests.post(url, json=data, headers=headers)
print(response.text)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

闻达

  • 不会用，下面可以不用看。
介绍-2023/05/02
懒人包-2023/05/02
  • 作者有提供懒人包，B站也有人做教程，我没用过，没流量，流量全用来下游戏删游戏下游戏删游戏下游戏删游戏下游戏删游戏了。
部署-2023/05/02
  • 考虑到作者都搞懒人包了，手动部署的应该都是自己会的，我就简单说下我的部署操作。
  • 复制example.config.xml作为config.xml，并对应修改。
  • 修改envirment.bat，注释掉懒人包路径，修改自己的python路径，如下，注释掉的我就不放出来了
chcp 65001
title 闻达
set "PYTHON=F:\0_DATA\2_CODE\Anaconda\envs\ChatGLM\python.exe "
:end

  • 1
  • 2
  • 3
  • 4
我是废物，改用懒人包-2023/05/02
  • 不知道怎么用本地文档搜索和网络搜索，搞不懂搞不懂，又去下了懒人包。
    • 可是为什么还是没有哇。
fess安装-2023/05/02
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号