GPU--学习笔记_gpu算力单位

作者：喵喵爱编程 | 2024-07-05 07:31:25

踩

gpu算力单位

GPU性能参数：
1. 计算能力（吞吐量）：
  1. 通常关心的是32位浮点计算能力。16位浮点训练也开始流行，如果只做预测的话也可以用8位整数。
  2. 单位为GFLOP/s，算力指标，表示每秒的浮点操作数量
  3. 每秒浮点运算量，是衡量GPU硬件计算能力的指标。
2. 显存大小：
  1. 当模型越大，或者训练时的批量越大时，所需要的GPU内存就越多。
  2. 其主要功能就是暂时储存GPU要处理的数据和处理完毕的数据**。显存容量大小决定了GPU能够加载的数据量大小**。（在显存已经可以满足客户业务的情况下，提升显存不会对业务性能带来大的提升。在深度学习、机器学习的训练场景，显存的大小决定了一次能够加载训练数据的量，在大规模训练时，显存会显得比较重要。
3. 显存位宽：
  1. 位数越大则瞬间所能传输的数据量越大
  2. 显存在一个时钟周期内所能传送数据的位数，位数越大则瞬间所能传输的数据量越大。这是显存的重要参数之一。
  3. 目前市场上的显存位宽有64位、128位、256位和512位几种，人们习惯上叫的64位显卡、128位显卡和256位显卡就是指其相应的显存位宽。显存位宽越高，性能越好价格也就越高，因此512位宽的显存更多应用于高端显卡，而主流显卡基本都采用128和256位显存。
4. 显存带宽：
  1. 只有当内存带宽足够时才能充分发挥计算能力。
  2. CUDA GPU的计算速度可以达到gigaflops（每秒10亿次浮点操作），是Core i7/Nethalem速度的十倍。为充分利用强大的计算能力，需要从存储器中（全局显存或计算机内存）尽量快地给他们提供数据。所以内存带宽就是衡量GPU的一个重要指标。
5. 制作工艺：指的是晶体管与晶体管之间的距离，单位是纳米。制作工艺越小说明集成度越高，功耗越小，性能越好。目前NVIDIA最先进的Tesla采用7nm制程，GTX 1080 Ti采用16nm制程。
对于大部分用户来说，只要考虑计算能力就可以了。GPU内存尽量不小于4GB。但如果GPU要同时显示图形界面，那么推荐的内存大小至少为6GB。内存带宽通常相对固定，选择空间较小。
GPU基本概念：
1. CUDA：
  1. 是显卡厂商NVIDIA推出的运算平台。
  2. CUDA核心数量决定了GPU并行处理的能力，在深度学习、机器学习等并行计算类业务下，CUDA核心多意味着性能好一些。
  3. CUDA核心：每个GPU时钟进行一次单值乘法；
2. CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
3. Tensor Core：
  1. CUDA是NVIDIA推出的统一计算架构，NVIDIA过去的几乎每款GPU都有CUDA Core，而Tensor Core是最近几年才有的，Tensor Core是专为执行张量或矩阵运算而设计的专用执行单元，而这些运算正是深度学习所采用的核心计算函数。Tensor核心在训练方面能够提供高达12倍的teraflops (TFLOPS) 峰值，而在推理方面则可提供6倍的TFLOPS峰值。每个Tensor核心每个时钟周期可执行64次浮点混合乘加 (FMA) 运算。
  2. 张量核心：每个GPU时钟进行一次矩阵乘法
4. FLOPS：即每秒浮点运算次数（亦称每秒峰值速度）是每秒所执行的浮点运算次数（英文：Floating-point operations per second；缩写：FLOPS）的简称，被用来评估电脑效能，尤其是在使用到大量浮点运算的科学计算领域中。
英伟达GPU类别：
1. gpu架构：Tesla、Fermi、Kepler、Maxwell、Pascal
2. 显卡系列：GeForce-家庭娱乐、Quadro-工作站、Tesla-服务器
3. GeForce显卡型号：G/GS、GT、GTS、GTX、RTX
4. 显卡系列在本质上并没有什么区别，只是NVIDIA希望区分成三种选择，GeFore用于家庭娱乐，Quadro用于工作站，而Tesla系列用于服务器。Tesla的k型号卡为了高性能科学计算而设计。
5. GeForce的显卡型号是不同的硬件定制，越往后性能越好，时钟频率越高显存越大，即G/GS<GT<GTS<GTX<RTX。
6. GTX 到RTX：RTX20显卡采用的“图灵”架构引入了RT计算单元，使其光线追踪性能超越上一代显卡的六倍，拥有了即时处理游戏光追的条件，NVIDIA认为这是一个划时代的进化，于是果断把沿用多年的“GTX”改名为“RTX”。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/喵喵爱编程/article/detail/789540