你的GPU能跑Llama 2等大模型吗？用这个开源项目上手测一测_llama2最大长度输出是多少

你的 GPU 内存够用吗？这有一个项目，可以提前帮你查看。

在算力为王的时代，你的 GPU 可以顺畅的运行大模型（LLM）吗？

对于这一问题，很多人都难以给出确切的回答，不知该如何计算 GPU 内存。因为查看 GPU 可以处理哪些 LLM 并不像查看模型大小那么容易，在推理期间（KV 缓存）模型会占用大量内存，例如，llama-2-7b 的序列长度为 1000，需要 1GB 的额外内存。不仅如此，模型在训练期间，KV 缓存、激活和量化都会占用大量内存。

我们不禁要问，能不能提前了解上述内存的占用情况。近几日，GitHub 上新出现了一个项目，可以帮你计算在训练或推理 LLM 的过程中需要多少 GPU 内存，不仅如此，借助该项目，你还能知道详细的内存分布情况、评估采用什么的量化方法、处理的最大上下文长度等问题，从而帮助用户选择适合自己的 GPU 配置。

项目地址：https://github.com/RahulSChand/gpu_poor

不仅如此，这个项目还是可交互的，如下所示，它能计算出运行 LLM 所需的 GPU 内存，简单的就像填空题一样，用户只需输入一些必要的参数，最后点击一下蓝色的按钮，答案就出来了。