大模型训练及推理【硬件选型指南】及 GPU 通识_大模型推理 gpu

作者：一键难忘520 | 2024-07-31 13:12:09

踩

大模型推理 gpu

我们在做大模型应用部署时（如训练、微调、RAG），往往需要在前期就分析好硬件选型指标，或者我们给客户报方案之前，可能你已经有了一个方案，但是由于实践经验缺乏，不知道在硬件上该如何评估并上报。本文将在这些方面给予一些参照。