devbox
天景科技苑
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

ChatGLM3-6B 对话预训练模型_chatglm3长文本输入

作者：天景科技苑 | 2024-07-12 11:54:58

赞

踩

chatglm3长文本输入

该文章介绍如何在 GpuMall 平台使用已集成的 ChatGLM3-6B 模型。

GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台

1. 选择 ChatGLM3-6B 镜像创建实例​

提示

训练 ChatGLM3-6B 模型，显卡显存建议选择等于大于 16GB 以上的显卡，因为 ChatGLM3-6B 模型载入后会占用大约 13GB 左右显卡显存。#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现

chatglm3_001_image

选择完成后创建实例，然后点击 JupyterLab，进入终端。

chatglm3_002_image

2. 复制 ChatGLM3-6B 模型到实例数据盘​

1.ChatGLM3-6B 模型大小为 24G，可以通过如下命令统计，复制到数据盘前，请先确认数据盘空间是否大于 24G

  1. #统计ChatGLM3-6B整个模型目录大小
  2. du -sh /gm-models/ChatGLM3-6B/
  3.  
  4. #查看实例数据盘可用空间
  5. df -hT | grep -w gm-data | awk '{print $5}'

chatglm3_002_image

2.使用以下命令复制模型到实例数据盘

  1. #复制模型到实例数据盘，注意目标名称全小写
  2. cp -rf /gm-models/ChatGLM3-6B /gm-data/chatglm3-6b
  3.  
  4. #查看已复制到数据盘的ChatGLM3-6B模型
  5. ls -lrht /gm-data/chatglm3-6b

chatglm3_002_image

通过上述操作模型会存储在 /gm-data/chatglm3-6b 目录下，不建议移动，ChatGLM3-6B 代码中已指定模型路径为 /gm-data/chatglm3-6b。

3. 启动 ChatLM3-6B​

ChatGLM3-6B 支持如下几种启动方式：

  1. #查看虚拟环境
  2. conda info -e 
  3. # conda environments:
  4. #
  5. base                     /usr/local/miniconda3
  6. ChatGLM3                 /usr/local/miniconda3/envs/ChatGLM3
  7.  
  8. #切换到 ChatGLM3虚拟环境
  9. conda activate ChatGLM3
  10.  
  11. #执行启动脚本会打印支持的几种启动方式
  12. /root/ChatGLM3/start.sh 
  13.  
  14.           支持如下几种启动方式，根据您需要选择一种启动方式即可:
  15.                 方式一): Web 网页版对话，通过 Gradio 所生成的地址进行公网访问(国内网络访问可能稍慢),监听8501端口
  16.                 /root/ChatGLM3/start.sh web_gradio
  17.  
  18.                 方式二): Web 网页版对话，通过 GpuMall 平台自定义服务方式进行公网访问,监听8501端口
  19.                 /root/ChatGLM3/start.sh web_streamlit
  20.  
  21.                 方式三): 命令行对话，该选项可在命令行与 ChatGLM3-6B 进行交互对话
  22.                 /root/ChatGLM3/start.sh terminal
  23.  
  24.                 方式四): API 接口方式启动，对该接口进行调用，调用地址通过 GpuMall 平台自定义服务方式所提供的公网地址进行调用
  25.                 /root/ChatGLM3/start.sh openapi

chatglm3_004_image

下面会依此演示以上四种启动和通过外网访问方式，根据自己需求选择任意一种即可（通过 API 调用访问方式用的较多）。

3.1 通过Gradio启动​

通过 Gradio 方式启动，Gradio 会自动创建一个公网访问链接。

  1. /root/ChatGLM3/start.sh web_gradio
  2. Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:04<00:00,  1.66it/s]
  3. Running on local URL:  http://127.0.0.1:8501
  4. Running on public URL: https://21e9e47a93316d5515.gradio.live       #复制该链接，该链接为Gradio自动生成的公网访问地址，有效期是72个小时
  5.  
  6. This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)

复制上述链接到浏览器进行访问使用 

chatglm3_005_image

3.2 网页版启动​

启动网页版，然后通过 GpuMall 平台的自定义服务进行访问

  1. /root/ChatGLM3/start.sh web_streamlit
  2.  
  3. Collecting usage statistics. To deactivate, set browser.gatherUsageStats to False.
  4.  
  5.  
  6.   You can now view your Streamlit app in your browser.
  7.  
  8.   Network URL: http://172.17.0.2:8501
  9.   External URL: http://61.243.114.254:8501

启动后到 GpuMall 实例管理控制台，点击更多——》创建自定义端口。

chatglm3_006_image

输入 8501，因为实例中的 ChatGLM3-6B 项目监听 8501 端口，然后点击确定。 

chatglm3_007_image

然后点击 自定义服务 跳转到公网访问网页页面地址。 

chatglm3_008_image

跳转后开始使用 

chatglm3_009_image

3.3 命令行对话​

  1. /root/ChatGLM3/start.sh terminal
  2. Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:04<00:00,  1.65it/s]
  3. 欢迎使用 ChatGLM3-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序
  4.  
  5. 用户：你好  #输入 文本内容
  6.  
  7. ChatGLM：你好
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/814024
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。