【OpenBayes 官方教程】快速部署通义千问 72B 大模型_通义千文webui

本教程主要为大家介绍怎样在 OpenBayes 上快速部署通义千文 72B 大模型，新朋友点击下方链接注册后，即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费使用时长哦！

注册链接

https://openbayes.com/console/signup?r=yuudi_nBBThttps://openbayes.com/console/signup?r=yuudi_nBBT

首先，登录到 OpenBayes 官网后，点击左侧导航栏「公共资源」下的「公共教程」。

然后找到「通义千问 14B chat int4 模型 Gradio Demo」，可通过右上角搜索栏搜索。

点击进入后，点击右上角的「克隆」。

可以看到，我们以只读绑定的形式将刚才的模型文件绑定到了我们的数据目录里边。这种方式不会占用我们自己的储存空间，但需要注意的是：绑定到 OpenBayes Home 目录里的文件将会占用一定的存储空间。然后点击「下一步：选择算力」。

我们需要一个 4 卡的 4090 才能将这个 Demo 跑起来。点击「审核并执行」，「继续执行」。

容器运行起来后，点击「打开工作空间」。

进入到 JupyterLab 的页面后，点击左侧文件目录中的 README 文件。

然后根据 README 的步骤进行操作。

因为 OpenBayes 的教程已经将所使用的依赖安装到了工作目录，因此这里我们只需要运行 web_ui 的这个文件就能将 Demo 跑起来。我们点击「启动页」，创建一个新的终端。

输入 python web_ui.py 点击回车，然后点击所生成的链接。

然后就进入了这个 Demo 的页面，我们随便输入点东西，发现这个模型已经运行起来了。

为了让大家更好地理解，OpenBaye贝式计算也为大家录制了详细的视频教程，可以点击下方链接查看，快速上手OpenBayes平台！

https://www.bilibili.com/video/BV1Sc41117rV/?spm_id_from=333.337.search-card.all.clickhttps://www.bilibili.com/video/BV1Sc41117rV/?spm_id_from=333.337.search-card.all.click