高性能计算学习资料_高性能计算推荐资料

并行计算大佬刘文志

风辰 - 知乎

基础课程：

伯克利大学：Applications of Parallel Computers（并行计算的应用程序）

计算机体系结构是基础，必须了解：

《深入理解计算机系统 》  2016年机械工业出版社的图书，作者 （美）布赖恩特（Bryant,R.E.）。

cuda入门推荐《professional cuda c programming》中文版《cuda c编程权威指南》

MPI,这些在GPU集群中必须掌握

掌握其他并行计算模型：Intel的MIC,openmp。

重要的算法设计思想：陈国良的《并行算法设计与实现》《并行计算:结构•算法•编程(第3版)》

《并行计算》《分布式计算》《排队论》《调度》等

并行计算系列丛书

《算法导论》网易公开课

研究方向：

1.并行算法研究，如寻找适用于GPU并行的算法，开发GPU实现，优化GPU

2.并行体系结构研究，硬件：众核系统设计改进和模拟；软件：计算机语言设计和编译器改进，程序自动并行化等。

3.并行应用系统研究，如MPI,MapReduce等系统级别的并行实现。

4.机器学习算法+并行计算框架：

运用框架做项目

学并行计算是一个生态，不仅仅是MR,SPARK几个。所以要先了解整个生态包括几个部分，每个部分需要哪些组件，然后跑几个demo,在针对每个部分挑选一到两个框架爱仔细研究源代码。

库或框架：

OpenMP,MPI,MapReduce,Spark,TBB,Cilk等。

怎样用并行计算大规模稀疏线性方程组

Fourinone

Fourinone创始人彭渊：打造多合一的分布式并行计算框架

专栏：

《计算之光》知乎

比赛：

NVIDA每年会举办CUDA开发大赛