Nvidia系列 之 在搭载 A10 Nvidia GPU 的 OCI Bare Metal 上部署 Llama3 70B 模型(教程含源码)_llama370b需要多少显卡

简介

Oracle 云基础设施 (OCI) 提供了一个经济高效的平台，用于在专用主机上自行托管大型语言模型 (LLM)。这可确保您组织的私有数据不会与 OpenAI、Google 或 Microsoft 等第三方服务共享。

您可以使用附有 GPU 的 BM 形状在 OCI 上轻松构建私有 AI 云。在本指南中，我们将使用 BM.GPU.A10.4 形状，其中包含 4 个 A10 NVIDIA GPU。

推荐文章

• 《如何使用 NVIDIA MPS 提高 Kubernetes 中的 GPU 利用率》 权重1，英伟达类

• 《Ubuntu 配置 NVIDIA GPU环境开展深度神经网络研究》 权重1，英伟达类

配置

Shape: BM.GPU.A10.4
OCPU Count: 64 cores
Network Bandwidth: 100 Gbps
Memory: 1024 GB
Local Disk: 7.68 TB NVMe SSD Storage (2 drives)
GPU Count: 4 NVIDIA® A10
Boot Volume: 1 TB
OCI Marketplace Image: NVIDIA GPU-Optimized VM