NPL-自然语言处理-循环神经网络_npl自然语言处理

1.one-hot

表示一个句子里面单个的词，第一件事是做一张词表，有时也称作词典，用one-hot来表示词典里面的每个单词

2.循环神经网络

标准神经网络的不好：①输入输出长度不同；②不能共享从文本的不同位置上学到的特征
循环神经网络：①在每一时间步中，循环神经网络传递一个激活值到下一时间步中用于计算；
②循环神经网络是从左向右扫描数据，同时每个时间步的参数也是共享的，下图表示的为参数。

缺点：只使用了这个系列中之前的信息来做出预测，如当预测输出3的没有用到后面的信息
参数：
通过时间的反向传播：①定义损失函数（上图）②把前向传播的箭头反过来，用梯度下降法来更新参数（通过穿越时间反向传播）----递归
不同类型的循环神经网络
多对多

多对一（情感分类）

一对一
一对多（音乐生成）—输入可以为0

多对多不同时