自然语言理解发展历程

(一)、NLP四大类任务：

1.序列标注：这是最典型的 NLP 任务，比如中文分词，词性标注，命名实体识别，语义角色标注等都可以归入这一类问题，它的特点是句子中每个单词要求模型根据上下文都要给出一个分类类别。
2.分类任务：比如我们常见的文本分类，情感计算等都可以归入这一类。它的特点是不管文章有多长，总体给出一个分类类别即可。
3.句子关系判断：比如 QA，语义改写，自然语言推理等任务都是这个模式，它的特点是给定两个句子，模型判断出两个句子是否具备某种语义关系。
4.生成式任务：比如机器翻译，文本摘要，写诗造句，对对联，看图说话等都属于这一类。它的特点是输入文本内容后，需要自主生成另外一段文字。

(二)、NLP算法发展史

1. NNLM(Neural Network language model):

简述：通过多个上文输入,预测输出,应用了word Embedding方法,但是此word Embedding是没有上下文的word Embedding,也就是word直接用one-hot表示,然后乘以一个向量权重矩阵（这个向量矩阵其实就是word Embedding向量矩阵,是我们训练得到的）得到该word的word Embedding向量。
实现功能：将上文的t-1个词输入,预测第t个词
网络结构：将前t-1个词的one-hot编码向量输入网络,分别乘以一个共享的word Embedding向量矩阵C,得到t-1个word Embedding向量,然后将t-1个向量进行concat，然后经过激活函数tanh激活后,输入到softmax层进行概率预测。
NNLM模型图如下:

缺点：NNLM所求解的word Embedding矩阵C没有包含上下文的信息，