CUDA并行加速二---GPU架构_cuda并行化加速

CUDA并行加速二------GPU架构

串行，并行

了解GPU和CPU我们首先要谈一谈串行计算和并行计算的概念。我们知道，高性能计算的关键就是利用多核处理器进行并行计算。当我们求解一个计算机程序任务时，我们很自然的想法就是将该任务分解成一系列小任务，把这些小任务一一完成。
在串行计算时，我们的想法就是让我们的处理器每次处理一个计算任务，处理完一个计算任务后再计算下一个任务，直到所有小任务都完成了，那么这个大的程序任务也就完成了，也就是N个任务我们就要使用NT个时间，所以在我们CPU编程的时候，因为多核处理器的出现导致多线程可以加速CPU处理的效率，例如上诉所说的我们假如开了4个线程，同时处理这四个任务那么我们需要的时间就是NT/4。
就此我们延伸出，如果有N核处理，那么我们只需要NT/N个时间就能完成这个任务，就此就引出并行编程，上诉也就是并行编程的粗浅概念。

CPU虽然每个核心自身能力极强，处理任务上非常强悍，无奈他核心少，在并行计算上表现不佳；反观GPU，虽然他的每个核心的计算能力不算强，但他胜在核心非常多，可以同时处理多个计算任务，在并行计算的支持上做得很好。
GPU和CPU的不同硬件特点决定了他们的应用场景，CPU是计算机的运算和控制的核心，GPU主要用作图形图像处理。图像在计算机呈现的形式就是矩阵，我们对图像的处理其实就是操作各种矩阵进行计算，而很多矩阵的运算其实可以做并行化，这使得图像处理可以做得很快，也使得深度学习可以发展起来，因此GPU在图形图像领域也有了大展拳脚的机会。

总结：
CPU࿱