赞
踩
一:docker-hub官网寻找需求镜像
1.我们在https://hub.docker.com/官网找到要封装的pytorch基础镜像,这里我们以pytorch1.13.1版本为例
2.我们找到的这个devel版本的镜像(我们需要cuda的编译工具)
pytorch版本是1.13.1,cuda版本是11.6,cudnn gpu加速库的版本是8版本(ubuntu系统已经封装在镜像里了,一会启动时候就可以去判断系统版本是多少了)
3.runtime和devel版本的区别解释:
1.13.1-cuda11.6-cudnn8-devel: devel 是 "development" 的缩写,表示这是一个开发版本。 这个版本包含了开发深度学习应用所需的工具和库,比如编译器、头文件、静态库等。 适用于需要编译和开发深度学习应用的场景。 1.13.1-cuda11.6-cudnn8-runtime: runtime 表示这是一个运行时版本。 这个版本主要包含运行深度学习应用所需的库和二进制文件,但不包含开发工具和头文件。 适用于只需要运行预编译的深度学习模型或应用的场景。 为什么一个大一个小? 内容不同: devel 版本包含了更多的开发工具、头文件和静态库,这些文件在编译和开发过程中是必需的,但在运行时并不需要。 runtime 版本只包含运行时所需的库和二进制文件,省去了开发工具和头文件,因此体积更小。 用途不同: devel 版本适用于开发环境,你可以在这个环境中编译和调试深度学习应用。 runtime 版本适用于生产环境或部署环境,你只需要运行已经开发好的深度学习应用。 具体区别 包含的文件: devel 版本:包含 CUDA 编译器(nvcc)、开发工具(如 gdb、profiler)、头文件(如 .h 文件)、静态库(如 .a 文件)以及所有的运行时库。 runtime 版本:仅包含运行时库(如 .so 文件)和必要的二进制文件。 使用场景: devel 版本:适用于需要编译和开发的场景,如开发新模型、编写自定义 CUDA 内核等。 runtime 版本:适用于部署和运行已经编译好的模型和应用,如在生产环境中运行深度学习推理服务。 总结 选择哪个版本取决于你的需求: 如果你需要开发和编译深度学习应用,选择 devel 版本。 如果你只需要运行已经开发好的深度学习应用,选择 runtime 版本。二:拉取基础镜像
1.复制拉取命令
2.服务器上拉取基础镜像
docker pull pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel
3.配置docker守护进程加速
最近dockerhub还有一些国内镜像加速源都都不好用了,这里建议走代理服务器或者给docker守护进程配置代理:
或者:
三:编写我们的dockerfile文件内容
需求描述:
(1)我们镜像里要求已安装好我们要用到的命令和python包等等:
# 更新包列表并安装基本工具 RUN apt-get update && apt-get install -y \ sudo \ git \ wget \ curl \ vim \ unzip \ zip \ tar \ gzip \ openssh-server \ openssh-client \ nodejs \ npm && \ rm -rf /var/lib/apt/lists/*(2)要求修改pip源为阿里云镜像源:
# 修改 pip 源为阿里云镜像源 RUN mkdir -p /root/.pip \ && echo "[global]" > /root/.pip/pip.conf \ && echo "index-url = https://mirrors.aliyun.com/pypi/simple/" >> /root/.pip/pip.conf \ && echo "trusted-host = mirrors.aliyun.com" >> /root/.pip/pip.conf(3)要求安装并启动ssh和jupyter-lab服务,这里我们通过外挂启动脚本实现:
# 将启动脚本配置在容器中 COPY setup.sh /setup.sh # 本地目录拷贝启动脚本到容器内/目录下 RUN chmod +x /setup.sh # 使用启动脚本作为容器初始化入口 ENTRYPOINT ["/setup.sh"](4)防止宿主机不同型号gpu导致的cuda调用异常,需要封装PyTorch NVML 基于 CUDA 检查环境变量:
ENV PYTORCH_NVML_BASED_CUDA_CHECK=1
完整的dockerfile文件内容:
vim torch1.13.1_dockerfile
# 定义基础镜像 FROM pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel # 设置非互动模式以避免一些安装过程中的对话框 ENV DEBIAN_FRONTEND=noninteractive # 删除无效的 Nvidia 存储库(如果它存在的话) #RUN rm /etc/apt/sources.list.d/cuda.list || true #RUN rm /etc/apt/sources.list.d/nvidia-ml.list || true # 更新包列表并安装基本工具 RUN apt-get update && apt-get install -y \ sudo \ git \ wget \ curl \ vim \ unzip \ zip \ tar \ gzip \ openssh-server \ openssh-client \ nodejs \ npm && \ rm -rf /var/lib/apt/lists/* # 修改 pip 源为阿里云镜像源 RUN mkdir -p /root/.pip \ && echo "[global]" > /root/.pip/pip.conf \ && echo "index-url = https://mirrors.aliyun.com/pypi/simple/" >> /root/.pip/pip.conf \ && echo "trusted-host = mirrors.aliyun.com" >> /root/.pip/pip.conf RUN pip install tornado==6.1 RUN pip install notebook==6.4.10 # 安装指定的 Python 库 RUN pip install \ ipykernel==6.29.5 \ jupyter_client==7.4.8 \ jupyter_core==5.7.2 \ jupyter_server==2.14.1 \ jupyterlab==4.2.3 \ nbclient==0.10.0 \ nbconvert==7.16.4 \ nbformat==5.10.4 \ notebook==6.5.7 \ traitlets==5.7.1 \ jupyter-tensorboard==0.2.0 \ jupyterlab-tensorboard-pro==4.0.0 \ tensorboard-data-server==0.7.2 \ tensorboard # 设置 PyTorch NVML 基于 CUDA 检查环境变量 ENV PYTORCH_NVML_BASED_CUDA_CHECK=1 # 暴露 SSH 和 Jupyter Lab 端口 EXPOSE 22 EXPOSE 8888 # 将启动脚本配置在容器中 COPY setup.sh /setup.sh RUN chmod +x /setup.sh # 使用启动脚本作为容器初始化入口 ENTRYPOINT ["/setup.sh"] # 在容器中创建并修改 Jupyter Lab 的配置文件 RUN echo "c.ServerApp.terminado_settings = {'shell_command': ['/bin/bash']}" > /root/.jupyter/jupyter_lab_config.py完整的setup.sh启动脚本内容:
vim setup.sh
#!/bin/bash # 设置清华源,如果尚未设置 if ! pip config get global.index-url | grep -q "https://pypi.tuna.tsinghua.edu.cn/simple"; then echo "设置 pip 使用清华源..." pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple fi # 检查 JupyterLab 是否已安装 if ! pip show jupyterlab > /dev/null 2>&1; then echo "安装 JupyterLab..." pip install jupyterlab==4.2.3 else echo "JupyterLab 已安装,跳过安装步骤。" fi # 创建SSH服务所需的目录 echo "创建 SSHD 必要的目录..." mkdir -p /var/run/sshd /root/.ssh # 创建JupyterLab工作目录 if [ ! -d /root/workspace ]; then echo "创建 Jupyter Lab 工作目录..." mkdir -p /root/workspace chown -R root:root /root/workspace fi # 设置环境变量到 .bashrc BASHRC_PATH="/root/.bashrc" ENV_VARS='export PATH="/usr/local/nvidia/bin:/usr/local/cuda/bin:/opt/conda/bin:/usr/local/nvidia/bin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:$PATH"' if ! grep -Fxq "$ENV_VARS" "$BASHRC_PATH"; then echo "$ENV_VARS" >> "$BASHRC_PATH" fi # 确保在 .bashrc 中添加 `cd /root/workspace` if ! grep -Fxq "cd /root/workspace" "$BASHRC_PATH"; then echo "cd /root/workspace" >> "$BASHRC_PATH" fi # 如果 authorized_keys 文件不存在,则创建它 AUTHORIZED_KEYS="/root/.ssh/authorized_keys" if [ ! -f "$AUTHORIZED_KEYS" ]; then echo "创建 authorized_keys 文件..." touch "$AUTHORIZED_KEYS" chmod 600 "$AUTHORIZED_KEYS" chown -R root:root /root/.ssh fi # 配置sshd服务,如果尚未配置 SSHD_CONFIG="/etc/ssh/sshd_config" if [ ! -f "$SSHD_CONFIG" ]; then echo "配置 SSHD 服务..." cat <<EOF > "$SSHD_CONFIG" Port 22 PermitRootLogin yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys PasswordAuthentication yes ChallengeResponseAuthentication no UsePAM yes X11Forwarding yes PrintMotd no AcceptEnv LANG LC_* Subsystem sftp /usr/lib/openssh/sftp-server EOF # 生成 sshd 主机密钥 echo "生成 SSHD 主机密钥..." ssh-keygen -A else echo "SSHD 服务已经配置,跳过配置步骤。" fi # 检查SSHD服务是否正在运行,如果没有则启动 if ! pgrep -x "sshd" > /dev/null; then echo "启动 SSHD 服务..." /usr/sbin/sshd else echo "SSHD 服务已经运行,跳过启动步骤。" fi # 生成 Jupyter 配置文件(如果不存在) JUPYTER_CONFIG_DIR="/root/.jupyter" if [ ! -d "$JUPYTER_CONFIG_DIR" ]; then mkdir -p "$JUPYTER_CONFIG_DIR" fi JUPYTER_CONFIG_FILE="$JUPYTER_CONFIG_DIR/jupyter_notebook_config.py" if [ ! -f "$JUPYTER_CONFIG_FILE" ]; then echo "生成 Jupyter 配置文件..." jupyter notebook --generate-config fi # 设置 JupyterLab 默认工作目录 echo "设置 JupyterLab 默认工作目录..." if ! grep -q "c.ServerApp.root_dir = '/root/workspace'" "$JUPYTER_CONFIG_FILE"; then echo "c.ServerApp.root_dir = '/root/workspace'" >> "$JUPYTER_CONFIG_FILE" fi # 设置 JupyterLab 终端命令 if ! grep -q "c.ServerApp.terminado_settings = {'shell_command': ['/bin/bash']}" "$JUPYTER_CONFIG_FILE"; then echo "c.ServerApp.terminado_settings = {'shell_command': ['/bin/bash']}" >> "$JUPYTER_CONFIG_FILE" fi # 检查JupyterLab服务是否已经启动 if ! pgrep -f "jupyter-lab" > /dev/null; then echo "启动 JupyterLab..." nohup jupyter lab --ip=0.0.0.0 --allow-root --no-browser --notebook-dir=/root/workspace > jupyter_lab.log 2>&1 & else echo "JupyterLab 已在运行,跳过启动步骤。" fi # 添加一个阻塞进程,以保持容器运行 echo "容器已启动并运行,阻止脚本退出以保持容器运行..." tail -f /dev/null四:构建镜像
以咱们刚才编辑好的dockerfile和setup.sh构建镜像
docker build -t ubuntu18.04_pytorch1.13.1 -f torch1.13.1_dockerfile .
构建成功,启动镜像测试
五:测试镜像
(1)运行镜像测试:
docker run -d -p 2255:22 5858:8888 ubuntu18.04_pytorch1.13.1
(2)查看镜像是否正常启动并找到docker id 进入容器内部测试:
docker ps | grep torch
(3)进入容器内部查看python,ubuntu,cuda和gpu的版本,显卡型号等等信息:
docker exec -it 8b80ab67bcd3 bash
cat /etc/lsb-release
nvidia-smi ## 可以看到咱们容器内部可以读取到宿主机的显卡型号为4090,显卡驱动版本为550.54.14
python --version
nvcc --version ## 验证cuda版本
(3)测试ssh和jupyterlab功能和服务是否正常:
浏览器访问宿主机ip+5885端口,并查看容器内部进程,jupyterlab是否正常安装启动
(4)使用python和pytorch测试pytorch是否正常,是否可以正常调用cuda和宿主机GPU:
测试脚本内容:
import torch def test_torch_cuda(): print("Checking PyTorch and CUDA installation...") # 检查 PyTorch 版本 print(f"PyTorch version: {torch.__version__}") # 检查是否可以调用 CUDA if torch.cuda.is_available(): print("CUDA is available.") else: print("CUDA is not available.") return # 检查 CUDA 版本 cuda_version = torch.version.cuda print(f"CUDA version: {cuda_version}") # 检查 GPU 的数量 gpu_count = torch.cuda.device_count() print(f"Number of GPUs: {gpu_count}") for i in range(gpu_count): print(f"GPU {i}: {torch.cuda.get_device_name(i)}") # 获取 GPU 的计算能力 capability = torch.cuda.get_device_capability(i) print(f" Compute capability: {capability[0]}.{capability[1]}") # 获取 GPU 显存信息 mem_info = torch.cuda.get_device_properties(i).total_memory / (1024 ** 3) # 单位GB print(f" Total memory: {mem_info:.2f} GB") if __name__ == "__main__": test_torch_cuda()六:测试全部通过,镜像封装测试通过,推送私有docker-hub
(1)其他例如pytorch的其他版本,tensorflow等等,百度的paddlepaddle飞浆等大模型镜像的封装办法也一样,只需要修改基础镜像部分配置就可以:
剩下镜像里安装的工具包,环境变量按需配置。
(2)推送私有镜像仓库备用
docker tag ubuntu18.04_pytorch1.13.1:latest harbor.prohub.net/library/ubuntu18.04_pytorch1.13.1:latest docker push harbor.prohub.net/library/ubuntu18.04_pytorch1.13.1:latest
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。