NLP——神经网络介绍_neural net nlp

深度学习

机器学习的分支，人工神经网络为基础，对数据的特征进行学习的方法

机器学习与深度学习的区别

1.特征提取

• 人工的特征抽取的过程
• 深度学习：自动进行特征抽取

2.数据量

• 机器学习：数据少，效果不是特别好
• 深度学习：数据多（参数多），效果更好

应用场景

1. 图像识别
2. NPL（自然语言处理技术）
   • 机器翻译
   • 文本识别
   • 聊天对话
3. 语音识别

框架

1.PyTorch：类似Numpy
2.TensorFlow

神经网络

人工神经网络：

神经网络、类神经网络，是一种仿生物神经网络，模拟生物的神经系统，对函数进行估计或者近似。（无需考虑特征的规则，只想了解数据的格式之类的）

神经元：
其中：

1. a1,a2…an为各个输入的分量
2. v1,v2…vn为各个输入分量对应的权重参数
3. b为偏置
4. f为激活函数（常见的激活函数有tanh、sigmoid、relu）
5. t为神经元的输出
6. 使用数学公式表达：
   $$t=f(W^{T}A+b)$$

一个神经元的功能是求得输入向量与权向量得内积后，经一个非线性传递函数得到的一个标量结果

感知机：

两层神经网络，输入层接收外界输入信号传递到输出层（输出+1正例，-1反例）

简单的二分类模型，给定阈值，判断数据属于哪一部分

多层神经网络：
- 输入层：众多神经元接收大量的输入信息

• 输出层：消息在神经元链接中传输、分析、权衡，形成输出效果。
• 隐藏层：“隐层”，多层，每一层神经元个数不确定。是输入层与输出层之间众多神经元和链接组成的各个层面。
• 全连接层：当前一层和前一层每个神经元相互链接，我们称当前这一层为全连接层。
  *进行的是$y=Wx+b$
  
  激活函数：
  
  无法通过一条直线将数据完全分为两类
  使用多层神经网络来解决->多次分割
  
  

1. 线性
   i. 系统：函数，f，模型$f(x)=y$
   ii. $f(x_1+x_2)=y_1+y_2$
   iii. $f(k+1)=k{y}_1$
2. 作用：
   a. 增加模型的非线性分割能力
   b. 提供模型的稳健性
   c. 缓解梯度消失
   点加速模型的收敛
3. 常见激活函数：
   a. sigmold:(0,1)
   b. tanh:(-1,1)
   c. relu:(0,x)
   d. ELU:$a(e^x-1)$