贪心高性能神经网络与AI芯片应用研修

贪心高性能神经网络与AI芯片完整版

一、人工神经网络

简介：人工神经网络 (Artificial Neural Network, ANN)，由人工神经元构成的网络，模拟人类的大脑；它模拟生物过程以反映人脑某些特征的计算结构。

联系：人工神经元模拟生物神经元；人工神经网络模拟人类的大脑，模拟生物神经网络。

特点：人工神经网络是一个并行、分布处理结构，具有学习能力、泛化能力。

功能：联想记忆功能、非线性映射功能、分类与识别功能、知识处理功能。

详细介绍：

目录大纲： 1 前言2 人类大脑3 生物神经网络4 生物神经元5 人工神经元6 人工神经网络

​

• 6.1 单层神经网络6.2 多层神经网络6.3 前向传播6.4 损失函数6.5 梯度下降方法6.6 反向传播算法 单层神经网络，如下所示图： **( •̀ ω •́ )y**

​​

​

二、卷积神经网络

简介

卷积神经网络（Convolutional Neural Network, CNN），通过卷积层与池化层的叠加实现对输入数据的特征提取，最后连接全连接层实现分类。对于图像处理有出色表现，在计算机视觉中得到了广泛的应用。

联系

动物视觉系统对外界的感知是： 视觉皮层的每个神经元只响应某些特定区域的刺激（感受野）从局部到全局（信息分层处理机制） 卷积神经网络： 每个神经元只需对 局部图像 进行感知；在更高层将局部的信息综合起来，得到全局信息； 结构：主要由 卷积层+池化层+全连接层 组成的。

应用：图像分类、目标检测、目标跟踪、语义分割、实例分割等。

详细介绍：

目录大纲： 1 前言2 基于什么提出卷积神经网络？3 卷积（Convolution）    3.1 卷积操作    3.2 多层卷积层4 池化（Pooling）5 全连接层6 特征维度变化7 CNN核心思想——参数共享8 优势9 经典的卷积神经网络10 卷积神经网络应用参考 基本卷积神经网络，如下所示图： ( •̀ ω •́ )y

​

​

三、循环神经网络

简介：循环神经网络（Recurrent Neural Networks，RNN），是一种反馈网络，模拟“人脑记忆功能”，常用于语言识别、机器翻译、视频分析、生成图像描述等。

背景：人工神经网络、卷积神经网络是前馈网络；前馈神经网络是一个静态网络，信息的传递是单向的，网络的输出只依赖于当前的输入，不具备记忆能力。前馈神经网络处理的数据是一个一个输入的，前后数据没有关系的。实际生活中，很多数据都是有上下文相关性的，这些数据称为序列数据；处理的时候，不能只考虑当前的输入就进行判断，需要考虑前后之间关系。

这时需要使用“循环神经网络”，它能有效处理序列特性的数据，它能挖掘数据中的时序信息以及语义信息。

结构：循环神经网络由循环体堆叠而成；

详细介绍：

应用：主要在自然语言处理方向应用； 文档分类和时间序列分析（识别文章的主题）时间序列对比　　（比较两个文档的相关程度）序列到序列的学习（中文翻译为英文）情感分析　　　　（推文或电影评论的情感划分为正面或负面）世间序列预测　　（根据最近的天气数据来预测未来天气） 目录大纲： 1 前言2 循环体3 循环神经网络4 LSTM网络5 循环神经网络应用参考 循环体及其按时间展开后的效果： ( •̀ ω •́ )y

​

​

四、生成对抗网络

简介：生成对抗网络（GAN，generative adversarial network），是一种常用于学习类别特征的神经网络结构；主要有两部分组成，分别是生成网络、判别网络。

背景：在监督学习中，训练集需要大量的人工标注数据，并且需要人工判断生成结构好坏，这个过程是高成本且低效率的；GAN能自动完成这个过程，效率高成本低。

详细介绍：

应用：GAN 的应用十分广泛，它的应用包括图像合成、图像编辑、风格迁移、图像超分辨率以及图像转换，数据增强等。

目录大纲： 1 前言2 生成对抗网络应用   2.1 风格迁移   2.2 图像生成   2.3 音乐创作3 生成学习算法4 生成对抗网络   4.1 GAN的简要实现流程   4.2 GAN算法实现要点5 MNIST 案例6 GAN优点7 GAN缺点8 文献学习1. Generative Adversarial Networks 2. Conditional GANs 3. DCGAN 4. Improved Techniques for Training GANs 5. Pix2Pix 6. CycleGAN 7. Progressively Growing of GANs 8. BigGAN 9.NAS 生成对抗网络GAN原理图，如下图所示：( •̀ ω •́ )y

​

​