ChatGLM3在Docker环境部署(1)_docker vllm 运行 glm3

cd ChatGLM3

这目录ChatGLM3下应该还需要包含chatglm3-6b-32k [HuggingFace]( ) 或者 [ModelScope]( ) ,需要手动下载。


#### 2.制作Docker镜像


##### 1）配置基础的Dockerfile：



1
2
3
4
5
6
7
8
9
10
11

#基于的基础镜像
FROM python:3.11.6

设置工作目录

WORKDIR /LLM

拷贝应用程序文件到容器中

COPY ./chatglm3-6b-32k/ /models/
COPY ./ChatGLM3/ /LLM/

安装支持

RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
RUN pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

##### 2）打包生成镜像



1
2
3
4
5

docker build -t dmx:easy .

#### 3.启动容器



1
2
3
4
5

docker run --restart=always -itd --name dmxApp3 -p 8000:8000 -w /LLM --gpus device=2 dmx:easy python LLM_Server.py

### 4.查看运行日志



1
2
3
4
5

docker logs -t dmxApp3

![在这里插入图片描述](https://img-blog.csdnimg.cn/di
1