赞
踩
FROM python:3.11.6
WORKDIR /LLM
COPY ./chatglm3-6b-32k/ /models/
COPY ./ChatGLM3/ /LLM/
RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
RUN pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
##### 2)打包生成镜像
docker build -t dmx:easy .
#### 3.启动容器
docker run --restart=always -itd --name dmxApp3 -p 8000:8000 -w /LLM --gpus device=2 dmx:easy python LLM_Server.py
### 4.查看运行日志
docker logs -t dmxApp3
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9e77f8936d114673baae27cbb47203a6.png)
#### 5. LLM\_Server.py
from fastapi import FastAPI, Request
from fastapi.middleware.cors import CORSMiddleware
from transformers im
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。