【AI应用】理解GPU的浮点计算能力_显卡算力单精和半精算力区别

作者：羊村懒王 | 2024-06-03 02:47:49

踩

显卡算力单精和半精算力区别

1、背景

半精度、单精度、双精度在深度学习领域经常涉及。

半精度、单精度、双精度这些概念是在IEEE 754标准里定义的。
浮点计数是利用浮动小数点的方式使用不同长度的二进制来表示一个数字，浮点数并不能精确表达所有实数，而只能接近！

关于FP32
FP32，Full Precise Float 32即单精度浮点数。
浮点数中采用4个字节也就是32位二进制来表达一个数字。
简单来说：
共32位，其中1位为符号位，8为指数位，23为尾数位。

示例：
单精度32位二进制如下：
00000000000000000000000000000000
第1位用于指示数字为正数还是负数。0为正，1为负。
第2-9位，共计8位，即指数保留了8位。
第10-32位，共计23位，用于表示组成该数字的数字，称为有效数字。

关于FP16
FP16，Half Precise Float 16即半精度浮点数。
浮点数中采用2个字节也就是16位二进制来

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/665399