当前位置:   article > 正文

ChatGLM3在Docker环境部署(2)

ChatGLM3在Docker环境部署(2)

FROM python:3.11.6

设置工作目录

WORKDIR /LLM

拷贝应用程序文件到容器中

COPY ./chatglm3-6b-32k/ /models/
COPY ./ChatGLM3/ /LLM/

安装支持

RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
RUN pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple


##### 2)打包生成镜像



  • 1
  • 2
  • 3
  • 4
  • 5

docker build -t dmx:easy .


#### 3.启动容器



  • 1
  • 2
  • 3
  • 4
  • 5

docker run --restart=always -itd --name dmxApp3 -p 8000:8000 -w /LLM --gpus device=2 dmx:easy python LLM_Server.py


### 4.查看运行日志



  • 1
  • 2
  • 3
  • 4
  • 5

docker logs -t dmxApp3


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9e77f8936d114673baae27cbb47203a6.png)


#### 5. LLM\_Server.py



  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

from fastapi import FastAPI, Request
from fastapi.middleware.cors import CORSMiddleware
from transformers im

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/1001905
推荐阅读
相关标签
  

闽ICP备14008679号