【番外02】夫子明察司法大模型：阿里云（GPU云服务器）部署与法律大模型_夫子 明察司法大模型

一、阿里云更高配置的云服务器实例

阿里云提供了一系列不同配置的云服务器实例，可以根据用户的需求选择更高配置的实例。在全部规格中选择GPU分类，而后可根据自身的需求和钞能力来选择实例规格，此处选择的是：GPU计算型 gn6i，ecs.gn6i-c4g1.xlarge，4vCPU 15GiB。

 在镜像方面选择CentOS7.9 64位版本，并勾选安装GPU驱动，选择合适的CUDA、Driver、CUDNN版本。CUDA是计算机统一设备架构的一个并行计算平台和应用程序编程接口的名称，目前最新版本是CUDA 12.X。Driver版本是指硬件设备所使用的驱动程序的版本号。驱动程序是操作系统与硬件设备之间的桥梁，它负责将操作系统的指令转换为硬件设备可以理解的信号。每个硬件设备都需要相应的驱动程序来确保其正常运行。CuDNN（CUDA深度神经网络库）是NVIDIA提供的一个GPU加速库，用于深度学习。

ECS云服务器实例新建成功后，首先重置实例密码，而后复制公网IP地址，后使用远程工具Xshell对服务器进行连接并使用。

二、源码克隆与依赖更新

使用远程工具Xshell对服务器进行连接后，可发现云服务器在自动安装GPU驱动，该过程需要12-15分钟时间，耐心等待即可。

GPU驱动安装成功后会有如下的提示页面：

而后检查与安装GO语言：

sudo yum install -y golang
 
go version

 检查go是否安装成功，并确定go的安装版本：

该项目的数据库检索部分使用 PyLucene 实现，但 Pylucene 安装过程较为繁琐，该项目提供了 Pylucene 的 Singularity 环境镜像。首先安装开发者工具，而后选定 Singularity版本，下载相应的依赖和安装包，并解压缩：

# yum clean all && yum makecache
sudo yum groupinstall -y 'Development Tools'
sudo yum install -y epel-release
 
export VERSION=3.8.0
 
wget https://github.com/hpcng/singularity/releases/download/v${VERSION}/singularity-${VERSION}.tar.gz

 开发者工具安装成功如下图所示：

 Singularity获取与解压缩后，进入 Singularity 3.8.0文件，对其进行编译。

sudo ./mconfig && \
    sudo make -C ./builddir && \
    sudo make -C ./builddir install
#等待一小会儿后，编译完毕
#将装好的singularity添加到PATH中(~/.bashrc)
export PATH=/root/fuzimingcha_model/singularity-3.8.0/bin:$PATH
 
source ~/.bashrc
singularity --version

 如有报错，对应的解决方案见本专栏的文章：【番外01】夫子明察司法大模型：阿里云部署法律大模型-CSDN博客

而后通过Xftp将夫子明察模型singularity、源码、预训练模型上传至云服务器中（该过程耗时较长，需耐心等待上传成功）：

上传的过程中可能出现如下的报错，此时需要检查网络连接和云服务器公网流量，多次进行尝试即可解决：

检查Python版本，将云服务器的python升级至推荐的python版本，CentOS7的python3.X升级方法可参考文章：

https://www.cnblogs.com/wztshine/p/16163413.htmlhttps://www.cnblogs.com/wztshine/p/16163413.html

模型依赖的获取与安装，在阿里云下载与安装依赖想较于本地服务器更加快捷、稳定。

cd fuzi.mingcha/src
pip install -r requirements.txt

 如在下载过程中过于缓慢，可尝试pip换源来解决该问题：

国内镜像列表：
 
http://pypi.douban.com/simple/ 豆瓣
http://mirrors.aliyun.com/pypi/simple/ 阿里
http://pypi.hustunique.com/simple/ 华中理工大学
http://pypi.sdutlinux.org/simple/ 山东理工大学
http://pypi.mirrors.ustc.edu.cn/simple/ 中国科学技术大学
https://pypi.tuna.tsinghua.edu.cn/simple 清华

 依赖安装成功后会出现如下的提示：

而后需要修改夫子明察模型源码src目录下cli_demo中对应的参数存放具体路径：

vi cli_demo.py

将tokenizer与model中的路径改为：

/root/fuzimingcha_model/fuzi-mingcha

检索模块的部署可见 本专栏的文章：【番外01】夫子明察司法大模型：阿里云部署法律大模型-CSDN博客https://blog.csdn.net/H66778899/article/details/135663126

三、命令行 Demo启动大模型

运行src下的 cli_demo.py文件来启动命令行demo。使用第四部分项目设置中的，法条检索对应部署的 pylucene 地址与类案检索对应部署的 pylucene 地址替换对应位置的地址：

python3.9 cli_demo.py --url_lucene_task1 "http://0.0.0.0:1000"  --url_lucene_task2 "http://0.0.0.0:1001"

然后运行的过程中可能会出现报错：

 解决方法如下：

pip install "urllib3<2"

 而后重新编译cli_demo.py文件，模型加载完毕成功启动：

（1）基于法条检索的回复任务：

（2）基于案例检索的回复任务：

（3）三段论推理判决任务：

（4）司法对话任务：

教育部哲学社会科学实验室——中国政法大学数据法治实验室参与了夫子•明察司法大模型的全过程研发。夫子•明察司法大模型的诞生不仅优化了法律咨询和解答服务的精准度，也预示着未来更智能、更人性化的法律服务体系的开展。我们坚信夫子•明察将不断创新，引领法律服务行业向更高层次迈进。

  四、小结

使用阿里云来部署基于ChatGLM3-6B的夫子•明察司法大模型，相比于本机部署或线下服务器部署，在Python 环境配置、依赖安装等方面具有较大优势。如果文章对你有帮助，欢迎一键三连