大模型训练及推理【硬件选型指南】及 GPU 通识_gpu 大模型

作者：盐析白兔 | 2024-06-27 05:19:14

踩

gpu 大模型

我们在做大模型应用部署时（如训练、微调、RAG），往往需要在前期就分析好硬件选型指标，或者我们给客户报方案之前，可能你已经有了一个方案，但是由于实践经验缺乏，不知道在硬件上该如何评估并上报。本文将在这些方面给予一些参照。