Nvidia GPU 教程之基于Tesla P40 上的自然语言处理_英伟达 p40 大模型

介绍

自然语言处理 (NLP) 是计算机科学的一个子领域，涉及人类与计算机之间的交互，使用自然人类语言。它是语言学和人工智能 (AI) 的一个子领域，提供了直到几年前我们才具备的潜力。

GPT-J-6B 是一个拥有 60 亿参数的 NLP 大型模型，由 EleutherAI [1] 构建并通过 Hugging Face 社区开源。[2]

该模型具有令人印象深刻的能力、创造力和预测能力。然而，加载像 GPT-J-6B 这样的大型 NLP 模型需要具有挑战性的硬件设置，并且至少需要有关其内部结构和推理方法的基本知识。

在本文中，我将解释构建消费级硬件以加载模型的基本步骤以及如何与之交互。这并不是一个循序渐进的教程，但即使您非常熟悉这个概念，本文也可能会提供有用的建议。

在 Nvidia Tesla P40 上运行 GPT-J-6B 模型

由于精度和时间的损失，将模型加载到 CPU 上是不切实际的。6B 模型需要大量的 CUDA 内核才能以高效的速度准确运行，至少需要 35GB 的 CPU 内存和 23GB 的 GPU 内存，这些内存必须是连续的且不能碎片化。
CUDA 内核必须可以直接访问 GPU 内存，而不会出现其他视频处理中断。

该项目首次在 Nvidia Tesla P40 加速器上进行演示。二手产品市场提供三种加速器，以 24GB GPU 和 CUDA 兼容的形式出售；那些是：

Nvidia Tesla K80 Kepler 架构，24GB GDDR5 显存
Nvidia Tesla M40 Maxwell 架构，24GB GDDR5 显存
Nvidia Tesla P40 Pascal 架构，24GB GDDR5