对本地部署的ChatGLM模型进行API调用_本地部署模型api调用

ChatGLM作为一个小参数模型，给予了我们在本地部署LLM的条件，接下来我将展示如何使用python对本地部署的ChatGLM模型进行API调用

对于如何部署本地ChatGLM模型我们可以访问本地化部署大语言模型 ChatGLM

接下来我首先分享api调用的测试代码：

import time
import requests
# 测试GPU运行是否成功
def test_function_1():
    import torch
    print(torch.cuda.is_available())
    # 测试成功
 
# 测试api相应是否无误
def test_function_2():
    # 发送POST请求
 
    url = "http://localhost:8000"  # API的地址
    data = {
        "prompt": "What is your name?",
        "history": [],  # 历史对话，如果有的话，这里初始化为一个空列表
        "max_length": 2048,  # 最大生成长度
        "top_p": 0.7,  # Top-p采样参数
        "temperature": 0.95  # 温度参数
    }
    response = requests.post(url, json=data)
 
    # 解析响应
    if response.status_code == 200:
        answer = response.json()
        print("Response:", answer["response"])
        print("History:", answer["history"])
        print("Status:", answer["status"])
        print("Time:", answer["time"])
    else:
        print("Request failed:", response.text)
 
 
if __name__ == '__main__':
    # test_function_1()
    time_start = time.time()
    test_function_2()
    time_end=time.time()
    print("测试时间"+str(time_end-time_start))

• test_function_1()：测试python与CUDA能否运行，如果为False，需要去pytorch官网下载电脑显卡驱动对应的pytorch，高显卡驱动是可以向下兼容
• test_function_2()：测试python的request请求是否被正确响应

在这里就遇到问题了（电脑的防火墙使request请求无法响应），搜索相关资料后找到了解决办法：

我们需要确保以下几点：

1. 确保服务器正在指定的地址（0.0.0.0）和端口（8000）上运行，并且没有出现问题。
2. 检查防火墙设置，确保允许从你的客户端连接到服务器的地址和端口。
3. 确保服务器端代码没有错误，并且正在正确地侦听指定的地址和端口。

发现问题出现在2上，接下来提供解决方法：

在 Windows 上，通过以下步骤检查和配置防火墙设置：

1. 打开 Windows Defender 防火墙设置：

   • 在 Windows 搜索框中输入“防火墙”，然后选择“Windows Defender 防火墙”。

2. 配置入站规则：

   • 在左侧面板中，选择“高级设置”。
   • 在“高级设置”窗口中，选择“入站规则”选项。

3. 添加新规则：

   • 在右侧面板中，选择“新建规则”。
   • 在出现的向导中，选择“端口”选项，然后点击“下一步”。

4. 指定端口和协议：

   • 在“特定本地端口”中输入你的服务器端口号（例如，8000）。
   • 在“特定远程端口”中也输入相同的端口号，表示你要允许的远程连接端口。
   • 选择协议类型（通常是 TCP）。

5. 选择允许连接：

   • 在下一步中选择“允许连接”。

6. 指定连接的范围：

   • 在“对哪些网络连接应用此规则”中，选择“任何网络”（或者根据你的需要进行选择）。

7. 指定规则的名称：

   • 输入规则的名称和可选的描述信息，然后点击“完成”。

我们同时需要更改相应端口的出站规则

接下来运行就没有问题了

接下来我展示一个数据分析的例子代码

from http import HTTPStatus
import dashscope
import time
import requests
 
dashscope.api_key = ''
 
def get_product(path, index=0):
    # 此处index控制读取文件的起始位置，默认为0
    l = []
    with open(path, 'r', encoding='utf-8') as fp:
        for line in fp.readlines():
            company, text = line.strip().split('\t')
            l.append((company, text))
    return l[index:]
 
def call_with_prompt(company, text):
    prompt='''请给出产品名称"{}"的多级产品类别。
              多级产品类别使用##分隔
              示例1：
              产品名称：智能冰箱控制器
              多级产品类别：家用电器##生活电器##冰箱控制器
              示例2:
              产品名称：滚筒洗衣机
              多级产品类别：家用电器##生活电器##洗衣机
              '''.format(text)
 
    url = "http://localhost:8000"  # API的地址
    data = {
        "prompt": prompt,
        "history": [],  # 历史对话，如果有的话，这里初始化为一个空列表
        "max_length": 2048,  # 最大生成长度
        "top_p": 0.7,  # Top-p采样参数
        "temperature": 0.95  # 温度参数
    }
    response = requests.post(url, json=data)
 
    # 解析响应
    if response.status_code == 200:
        answer = response.json()
        return answer
    else:
        # 请记录下所有获取失败的文本
        print(company + '\t' + text)
 
 
if __name__ == '__main__':
    print("============================start============================")
    N = 1
    intput_path = '1.txt'
    output_path = 'result.txt'
    index = 0
    time_start = time.time()
    for company, text in get_product(intput_path, index):
        answer = call_with_prompt(company, text)
        with open(output_path, 'a', encoding='utf-8') as fp:   
            fp.write('{}\t{}\t{}\n'.format(company, text, answer['response'].replace('\n', '$').replace('\t', '@')))
    time_end = time.time()
    all_time = time_end - time_start
    print(all_time)
    print("============================end============================")