nlp研究的三个层次_nlp逻辑层次模型

写在前面的话:《凸优化》理论集成了矩阵论+泛函数分析，这门学科学好了可以使AI理论上升好几个层次。基础理论精进后就可以与物理学，计算机学以及神经生物学等学科结合搞AI基础研究---从0到1的研究，比如上个世纪的lasso成果。目前的AI基础研究切入点在突破现有深度学习的瓶颈，即如何突破深度学习对海量数据过度依赖的笨重式的感知智能，推动认知智能的前进，去年的谱卷积算子，拉普拉斯矩阵的特征值分解，图模型与联结主义的融合是一个开端。矩阵的特征值分解与CNN都是基础领域的研究。比如CNN的改进基本上从3方面入手，但是具体领域需要具体分析。研究基础领域的突破是真正的研究。理论创新带动应用创新，应用创新带动AI产业化。。。有几个论文需要深入精读:①去年DeepMind的图模型推理论文，需要深刻吸收论文的思想精华和想法，反思一下为什么国内不能搞出这样的研究②96年的lasso论文，虽然很老了，但是学术价值非常高，研究透了需要很深的数学功底，同时还可以得到很多启示③上个世纪pagerank和随机游走模型的提出，对推理有很高的启发，这个模型具有很强的解释性，可以和计算机科学结合解释成功和运气之间存在很强的相关性。以上的基础研究，除了数学外，还需要从物理学，生物学，进化论以及专业领域吸收灵感，比如DeepMind从弹簧系统的稳定性等物理现象中吸收灵感，甚至可以从哲学中吸收灵感，比如很多算法很好地解释了自然规律，这说明发现一个新的算法，除了纯数学外，更需要数学以外的东西，否则创新能力会大大降低。AI存在的意义是助推产业升级，否则就是鸡肋，单纯的互联网是没有前途的。nlp需要重新研究人脑对于文字理解的逻辑，这个明显不同于图像识别机制，不能照搬，必须修正，难度非常大。目前的机器人对于文字的理解仍然是以知识图谱和图模型以及统计学为主导，然后慢慢向认知智能过渡，让机器具备初步的逻辑推理能力，这一点单纯靠联结主义是不现实的。图谱的研究目前国内有点儿落后，比如知识的时空表示，CVT节点用于推理的研究等等。目前的图谱认知能力基本上停留在简单的线性关系，不能完成因果关系推理。为了研究因果关系推理，需要重塑或者拓展图谱理论，比如底层的知识表示，因为逻辑推理其实离不开有限的规则，然后规则通过组合泛化创造出无限多的表现形式。AI的本质就是发现并且为机器指定出这些规则以及规则的组合泛化规则，这样Ai才会真正向前推进。然而这一切都离不开最基础的研究，对于很多程序员认为"烂大街"的基础理论，我相信这些程序员从来没有系统深入地研究过这些基础理论，基本都是以代码为主理论上蜻蜓点水。这是态度有问题，我相信很多大家习以为常的理论，真正有深度有见解的一定是少数人。因为发现现有算法之间新的关联是很困难的事情，需要很深的功底。

本人的nlp学习和研究按照以下三个层次开展：

一、应用级别。大约花费10个月时间以上。本阶段主要扩展广度，大量接触各种应用论文，基础论文，学习和研究的突破点是语义相似度的研究。本阶段比较适合本科生和研究生，以应用为目标，能够熟练使用tensorflow等框架，看懂论文并且把论文的成果工程化。包括的基础理论：微积分，线性代数，统计学，计算机基础，数据结构与算法，基本的物理学知识，除此之外以下数学需要吸收60%左右：《矩阵论》+《实变函数与泛函数分析》+《凸优化》+《统计学》。AI方面主要包括：统计学派和联结主义学派。统计学派的经典著作：李航博士的关于图模型的论述共90页的pdf,宗成庆的《统计自然语言处理》。吴恩达03年的斯坦福公开课16讲，包括LR,SVM，PCA,SVD等。RNN，LSTM，CNN，word2vector等。另外关于基本的语言逻辑，语言学也要了解，包括知识图谱的基础知识。本阶段应读的论文包括96年的lasso必读，CRF等。编程主要以python或者C