自然语言处理（NLP）的发展历程，神经语言模型多任务学习介绍， ECM模型介绍等_nlp1956年以前的发展

1读前准备

读本篇论文之前我先调研了并理解了什么是自然语言处理（自然语言是人类交流信息的工具。很多自然语言处理问题都可以等同于通信系统中的解码问题–一个人根据接收到的信息，去猜测发话人要表达的意思）以及自然语言处理的发展历程，我举出了在电影中的例子来说明AI发展到一定阶段，自然语言处理带给人们的前景展望。
而自然语言处理的发展历程，在搜索大量资料后我选择综合了部分资料，了解到自然语言处理到现在目前经历了是个时期，分别是1956年以前的萌芽期；1957-1970年的快速发展期；1971 -1993年的低谷的发展期和1994年至今的复苏融合期。

1.1自然语言处理发展历程

萌芽期
在1948年Shannon把马尔可夫过程的概率模型（实现快速精确的语音识别系统的最成功的方法）应用于描述语言的自动机。1956年，Chomsky乔姆斯基又提出了上下文无关文法（编译原理课程中讲过）并把它运用到自然语言处理中。
快速发展期(1957-1970)
快速发展期
从50年代中期开始到60年代中期，以Chomsky为代表的符号派学者开始了形式语言理论和生成句法的研究，60年代末又进行了形式逻辑系统（对于词项和命题形式的逻辑性质的研究、思维结构的研究与必然推出的研究，它提供检验有效的推理和非有效推理的标准）的研究。1959年宾夕法尼亚大学研制成功的TDAP系统，布朗美国英语语料库的建立等。1967年美国心理学家Neisser提出认知心理学的概念，直接把自然语言处理与人类的认知联系起来了。
低速的发展期
70年代，基于隐马尔可夫模型(Hidden Markov Model, HMM)的统计方法在语音识别领域获得成功。80年代初，话语分析(Disco