【自然语言处理】1.背景知识介绍

1.机器学习 

   a.机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测

   b.流程：获取数据、基本数据处理、特征工程、模型训练、模型评估

   c.机器学习算法分类：监督学习、无监督学习、半监督学习、强化学习    

2.深度学习

   a.机器学习的分支,自动进行特征抽取

   b.以人工神经网络为基础,对数据特征进行学习的算法

   c.自动进行特征的抽取

3.机器学习与深度学习的区别

   a.机器学习是人工抽取特征，深度学习是自动抽取特征

   b.机器学习需要的训练数据集较少，深度学习需要更大的训练数据集

 

4.深度学习的应用场景

   a.图像识别（物体识别、场景识别、人脸检测跟踪、人脸身份验证等）

   b.自然语言处理技术（机器翻译、文本识别、聊天对话等）

   c.语音识别技术（语音识别）

5.常见的深度学习框架

    tensorflow、keras、PyTorch、MXNet、DyNet、caffe2、Theano、Chainer等等

6.神经网络

   a.人工神经网络(ANN),简称神经网络。模拟生物神经系统的结构和功能，对函数进行估计和近似

   b.神经元：神经网络中的最小结构，将其按一定层次结构连接得到神经网络，神经元的结构如下所示。

   其中:

      a为各个输入分量

      w代表输入分量对应的权重参数

      b为偏置值

      f为激活函数

      t为神经元的输出。

      其数学表示为

    总结来说，神经元就是求得输入向量和权重向量的内积后，经过一个非线性传递函数得到一个标量的结果。

    c.单层神经网络：最基本的神经元网络形式，由有限个神经元组成，不常用。每个神经元的输入向量相同，由于每个神经元都会产生一个标量的结果，故单层神经网络的输出是一个向量，向量的维数相当于神经元的数目。其结构图如下所示。

     d.感知机：两层神经网络，包括输入层和输出层，输入层接收外界输入信号后传递给输出层，输出层为M-P神经元。其结构如下所示。感知机的作用是将一个n维向量空间用一个超平面分割为两部分，他会给定阈值。当给定一个输入向量，超平面可以判断出该向量属于哪一边，输出+1即为正例，输出-1即为反例。（即用于二分类）

     e.多层神经网络：由单层神经网络进行叠加的结果，其网络结构如下所示。

• 输入层：众多神经元接受大量非线性输入信息。输入信息成为输入向量
• 隐藏层：是输入层和输出层之间众多神经元和链接组成的层面。隐层可以为一层或多层，隐层的节点（神经元）不确定，但数目越多神经网络的非线性越显著，从而神经网络的强健性更显著。
• 输出层：消息在神经链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量
• 全连接层：当前层和前一层中神经元两两之间都有链接。所谓全连接层就是在前一层的输出的基础上进行一次Y=Wx+b的变化（不考虑激活函数）

    f.激活函数：

• 线性满足f(x1+x2)=f(x1)+f(x2),f(kx)=kf(x).线性无论加多少层还是线性的，当有了非线性的激活函数之后，输出的结果就不再是一条直线了，可以模拟曲线.
• 增加模型的非线性分割能力,提升模型的稳健性，缓解梯度消失、加速模型收敛。（常见的激活函数有relu、sigmoid、tanh、elu等）

  

7. 神经网络示例

        一个男孩想要找一个女朋友，于是实现了一个女友判定机，随着年龄的增长，他的判定机也一直在变化

       14岁的时候：

       无数次碰壁之后，男孩意识到追到女孩的可能性和颜值一样重要，于是修改了判定机：

       在15岁的时候终于找到呢女朋友，但是一顿时间后他发现有各种难以忍受的习惯，最终决定分手。一段空窗期中，他发现找女朋友很复杂，需要更多的条件才能够帮助他找到女朋友，于是在25岁的时候，他再次修改了判定机：

       在更新了女友判定机之后，问题又来了，很多指标不能够很好的量化，如何颜值，什么样的叫做颜值高，什么样的叫做性格好等等，为了解决这个问题，他又更新了判定机，最终得到超级女友判定机

      上述的超级女友判定机其实就是神经网络，它能够接受基础的输入，通过隐藏层的线性的和非线性的变化最终得到输出。