支撑开源LLM大模型的私有化部署，需要单机多个不同型号GPU混合使用的同学看过来_qwen72b显存要求

作者：Li_阴宅 | 2024-08-09 01:39:20

踩

qwen72b显存要求

项目场景：

为支撑开源LLM大模型的私有化部署，需要单机多个不同型号GPU的混合使用，度娘、GPT4和机器售后都不知道如何解决，自己动手解决，mark一下。

问题描述

有2台深度学习的工作站，分别有2张3090和2张4090，Qwen-14B-Chat轻松跑起，知识库检索等应用效果还可以，想提升到Qwen-72B-int4（官方要求最低48G显存），于是把4张卡集中到同一台机器（多级多卡也是可以的，但不是每个框架都支持分布式GPU），过程中遇到一些坑，度娘无混卡的案例，gpt4无帮助，2台工作站和4张gpu都是联想供货的，问售后技术的，说没有试过，不知道怎么弄

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/950813