台湾大学深度学习课程 学习笔记 lecture3-2 Recursive Neural Network（RvNN）

以下内容和图片均来自台湾大学深度学习课程。
课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html

当把所有word 转化成vector后，需要将这些vector进行整合，传统整合方法一般使用average, sum等，接下来介绍使用Recursive Neural Network（RvNN）递归神经网络进行处理。

Property

Syntactic Compositionality

但是目前语言是否具有Recursive 还存在争议。所以这里先假设语言是可以递归描述的。

哪些字应该被组合到一起呢？
理论上讲，意思相近的词应该离得比较近，从下图看，地区的词和时间的词已区分开来。现在有一句话“the country of my birth”应该放在什么地方呢？
如果知道了语言的架构，先将“the”与“country”合并，然后再将之后的按照架构合并好，最终输出的结果会和地区位置比较相近。

那么如何确定语言的架构，从而一层一层的组合？
例如下面这句话：“The cat sat on the mat.”

1. 先确定每个词的词性；
   

2. 接下来转化成短语后，确定短语的性质，例如NP、PP、VP；
   

3. 根据句子中各短语的关系确定结合的方法顺序，确定句子之间的关系。具体如何进行组合下面还会详细讲。
   

最后经过每一步处理，用向量表示句子的结构和意义。

Recursion Assumption

一开始就讲到，语言中存不存在递归形式，目前还存在争议，没有定论。但是假设存在递归的话，有什么优势呢？

1. 消除歧义，通过递归可以判断语义，确定单词词性。从下图的两个句子结构中，可以判断出“a spoon”和“meat”词性的区别。
   
2. 判定指代短语，具体指代关系可以参照下图；
   
3. 判断一个句子是否符合文法结构，而不存在病句。
   

总而言之，虽然有优点，但是存在仍有争议。所以，下面介绍基于假设存在Recursive。

Network Architecture and Definition

Standard Recursive Neural Network 标准RvNN

Weight-Tied

首先说一下与RNN相似，各个神经网络共用一套权重 $W$ 的情况。

基本结构

RvNN的基本结构：输入两个候选子向量（