GPU和CPU计算上的精度差异_cpu和gpu训练结果不同

前言

• 文章来源：CSDN@LawsonAbs
• 晚上跑代码，想比较两种方法计算结果之间是否相同，理论上计算结果应该一致，但是比较结果就是二者不一致，错误排查了很久，怎么都不知道哪儿错了？难道机器真的算错了吗？
• 本代码可以在我的github中找到

为了清楚演示具体的差异，抽象出如下简单的代码片段：

示例

简单看一个例子，看看其在cuda和cpu下的计算表现

1. cuda下的矩阵乘法

可以看到GPU下的计算：很显然的二者应该相同，但是在GPU的计算下是二者竟然不等！

2. cpu 下的矩阵乘法

其实在找“问题”的时候，我猜测过是不是因为精度问题（但是没有多想，心想着GPU精度再差，也不至于万分位就差了吧 -_-||）， 但哪知道还真是这个问题！当代码变多，很难立马定位到到底是什么地方出了问题，排查问题的过程就变的非常困难！之前我也听过cuda精度之类的一点儿东西，但是从未放在心上，终于花了一个多小时去找这个问题，才知道有这个坑，果然是坑只有自己踩过才知道。。。

原因

GPU端计算浮点数精度和CPU端不同。GPU默认是float精度，CPU默认是double精度。这就意味着在GPU作浮点数乘除计算结果如果累计的话，必然存在误差。