自然语言处理（第13.5课 从NLP到NLU）_nlu 语义理解 nlp

一、学习目标

1.了解NLP与NLU的关系，认识NLP的问题

2.学习语言的表征

3.学习如何将神经信息解码成语言

4.了解语义图谱的内容

二、从NLP到NLU

        1.三种技术的关系

        只关注NLP与NLU，可以发现：NLU是NLP的深层技术，NLP只是处理语言信息，而NLU是要理解语言信息。而想要让机器理解语言信息，显然，我们只能从人脑的运行机能出发。（这里表明了，无论chatgpt多牛，它终究是NLP的产物，并不能真正理解语言信息。而我们目前依旧没搞懂人脑的运行机制，所以NLU还是一个基础的阶段）

        2.现行的NLU方法

        主要是使用脑电图作为脑信息，然后将语言信息作对比。分神经编码和神经解码两种：

        （编者语：但是，单看上面这两种方法，不就是将NLP与CV结合起来的结果，并没有做到完全模拟人脑运行的机制，这真的能算NLU吗，反而是神经网络模型模拟出的人脑神经系统更能贴合人脑运行原理）

三、语言的表征

        1.解决的问题：

        （1）分布式表示模型对语言的编码与人脑理解语言是否相关？

        （2）如果有关，那有什么关系？

        （3）如果有关，分布式表示模型是否可以反过来帮助我们去理解人脑如何理解语言？

        其中，分布式表示模型指的就是各种NLP模型，其可以得到一个词向量矩阵，所以叫分布式表示。相关的模型有：

         

        2.基于探针任务和消融测试的编解码分析算法

        整个名字就把这个算法要进行的步骤讲明白了。就探针任务和消融测试两个步骤，你想用神经编码还是神经解码都行。下面是编码的整体流程如下

        （1）探针任务：目的是测试NLP模型编码语言学特征的能力。其设计了三种探针任务来测试模型的能力：语义分析、句法分析、形态学分析。3中探针任务都比较

        （2）消融实验：（就是总体流程图的下半）其更完整的过程如下：

        由于形态学探针任务无法做消融实验，于是对另外两个进行：

        消融实验的目的是：

四、神经解码

        神经解码的任务是如何从脑电图信息获取到语言信息。由于整体的难度很大，于是目前只有一个验证可行性的任务：输入脑电图信息和一个待填空的句子（脑电图是人观察句子时采集的），输出空中应该填写的单词。

        具体任务可以描述为：

        整体的模型框架图如下：

        在使用了脑电图信息后，模型有了一定的提升：

五、语义图谱

        语义图谱研究的是各种词语的互相联系，这种语义图谱网络模拟的人脑对词语的联想关系。想要得到这种联想关系，就需要采集人脑思考单词时的脑电信息等。

        1.实验刺激方法

        （1）图片刺激法

        （2）音频刺激法

        2.最后得到的语义图谱

六、结束语