当前位置:   article > 正文

深度学习中常见的名词术语_深度神经网络 术语是什么

深度神经网络 术语是什么

知乎盐选,邵天兰的分享,介绍了深度学习中常见的名词术语,可以快速的了解深度学习内的大体内容。

1 从分类器开始

  • 机器学习的思路
    人共设计特征,提取特征 ===> ML Algorithm(分类器) ===> 分类结果输出
  • 深度学习思路
    神经网络提取特征 ===> 神经网络进行分类 ===> 分类结果输出

2 神经网络的基本组成单元:神经元,层

neuron

input × weight + bias --> sum --> activate function(eg: sigmoid) --> output
  • 1
  • input/output
  • neuron
  • weighted sum
  • weights
  • bias

activation function

通过 activation function将神经元引入非线性,常见activation function

  • sigmoid
  • tanh
  • ReLU

layer

  • Full Connected layer(FC)
    FC层的每一个neuron的input都是上一层所有neuron的output
  • input layer
  • hidden layer
  • output layer

3 深度学习扛把子:卷及神经网络CNN

CNN layer(卷积层)

55622036236982432.jpg-192.5kB
909073084103838814.jpg-176.3kB
每一个网络层都是有深度的,是三维立体的。每一层的卷积kernel个数就是每一层的网络深度,每一个kernel可以认为是一个特征提取器,卷积的过程其实也就是一个filter的功能。如果有100个kernel,可以认为这一层卷积层就提取了100个features传递给下一层。
神经网络的参数主要在这一层,包括kernel size,Receptive Field, Stride(步幅),padding

Pooling layer(池化层,降采样层)

池化层看做采样,会降低网络层的长度和宽度,一般是减半。这一层的作用是产生了一定的“不变性”,可以认为是一种很那个选取最有用信息的操作。
常见的有

  • Max Pooling
  • Average Pooling

softmax

705710296284107769.jpg-237.5kB

经典网络 VGG

847937086258302368.jpg-166.6kB

Batch normalization

直觉来看,如果每层神经元的输入在训练过程中分布保持一致,会更容易收敛。强行让上一层的输入在一组数据中符合一定要求(均值0,方差1)。也称为Regularizer。

更深层的网络 ResNet

618026598576080561.jpg-193.1kB

更深层的网络 GoogLeNet

362021482332586638.jpg-191.9kB

4 真正让深度学习工作起来

优势:完成复杂学习任务
困难:参数多,数据少,容易过拟合,训练效率低
对策:海量数据,增加算力,加入缓解过拟合方法,加快训练方法

防止过拟合的方法

  • 正则化
  • dropout
    训练时让一些神经网络输出为0
  • noise
    训练时让神经元输出加上一些noise
  • early stopping

5 神经网络训练

前向传播 --> 和ground true比较计算损失函数 --> 反向传播调整每一层的参数

问题:

  • 梯度消失 gradient vanishing
  • 梯度爆炸 gradient explod

更新参数的基本原理

  • 梯度下降 gradient descent

学习率learning rate

重用预先训练的特征 Fine-tuning

在大数据集上训练非常浪费时间,但是小数据集训练效果又不好。由于针对不同的任务,图像特征很多是相通的,可以重用在大数据集上训练得到的特征。
应用场景:yolo模型里面不包含铁轨和罐车,但是现在却需要识别,可以使用yolo已经预训练好的模型,保持卷积层不变(冻结层参数 Freeze Layers),重新初始化全连接层,再训练。

6 前沿方向

  • 从分类到目标检测Object Detection
    RCNN,Fast RCNN, Faster RCNN, SSD,YOLO

  • 语义分割Semantic Segmentation和实例分割Instance Segmentation
    FCN,Mask FRCNN

  • 模型小型化
    SqueezeNet,ShuffleNet

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/687531
推荐阅读
相关标签
  

闽ICP备14008679号