大模型学习系列：NLP基础知识学习整理_nlp大模型是什么 是什么的缩写

一、NLP是什么，对于大模型的学习有什么作用？

自然语言处理（Natural Language Processing，简称 NLP）是计算机科学和人工智能领域的一个重要分支

自然语言处理是帮助实现人机交互的工具。它能帮助计算机理解人类的自然语言发出的命令，方便了人机交互

 

二、概率和统计的一些概念

 

概率

概率是事件发生的可能性的大小。

 

统计

统计是对事件结果进行记录，通过大量数据的积累找到其规律。

 

概率的感觉是还不知道结果到底是什么，或者应该说是在事情发生之前预测
统计是在事情发生之后，记录结果，寻找其中规律。

 

采样

采样，顾名思义，采取样本，是从大量数据或者信息中提取一部分去研究，根据需要选择，可以是随机的，也可以是确定的。

 

信息理论

信息理论帮助我们更好地收集和处理信息。

 

模型

模型是为了研究问题建立的 是抽象的，有条件的。

 

贝叶斯

贝叶斯理论在某基础之上或者某条件下进一步研究事件发生的概率，能更加具体的研究更复杂的事件。

从贝叶斯理论看，它在条件中，能更精细地研究事件发生的概率的问题，

 

三、机器学习

 

线性回归

线性回归可以利用其规律预测和分析数据或者信息。（线性回归研究的是自变量和因变量之间是线性关系的问题）

 

逻辑回归

逻辑回归可以用于判断或者分类

 

正则化

正则化是用来优化模型的，让模型能在条件中，更加好地研究问题。

 

聚类

聚类，顾名思义，是指将数据进行分簇，它能帮助人们找到数据中的规律。

分类是人类对事物进行处理：分簇是计算机对数据进行处理。

 

降维

能简化数据并且不会丢失有意义的信息，就像是放大信号且保持信号不失真，帮助计算机分析和处理数据。

 

训练

训练模型，针对研究的问题优化模型，使其能更好地研究问题。

 

四、文本挖掘

 

基本流程

收集数据、预处理数据、提取特征、建模、评估模型、结果分析与应用。

 

图

构建关系图：找出文本内容中的图的关系。

图分析：分析构建好关系的图，初步寻找图中信息。

图的算法应用：运用算法进一步寻找图中潜藏的信息。

融合图与文本信息：图文结合，训练模型。

可视化：将图可视化，能更直观地研究图。

文档

文档收集：对文档初步处理，收集相关文档信息。

文档清洗：去除文档中不相关地内容。

文本标准化：统一格式。

分词：分解文本成词。

词性标注：标注词性，帮助理解文本。

去除停用语：去除意义不大的停用语。

词干提取或词性还原：提取词干或者转换词性，方便进一步理解文档内容。

文档向量化：将文档用向量形式表示，为后续模型训练做准备。

词嵌入

词嵌入技术将词语映射为实数向量，可以将语义相近的词映射到向量空间中的相近位置。其主要思想是利用上下文来表达词语的意义。词嵌入技术可以捕捉词语语义，帮助计算机理解自然语言。

序列标注

序列标注是对一个文本序列中的每个元素（通常是单词或字符）进行特定类别或标签的标注。比如词性标注、命名实体识别等。

 

序列标注通常采用机器学习或深度学习方法来完成，通过构建合适的模型来学习如何根据输入的文本序列预测出正确的标签序列，为后续更复杂的处理和分析提供了基础。

NLP基本假设

1. 语言的规律性：语言是有规律的，而且其规律是可以被分析和利用的。

2. 语义相关性：词语、句子之间在语义上存在相关性和逻辑性，可通过一定的方法进行理解和关联。

3. 上下文重要性：词语的含义和句子的意思会受到上下文影响。

4. 语言的可计算性：语言可以通过一定的数学模型和算法进行表示、处理和计算。

5. 语言的层级结构：语言具有词汇、句法、语义等不同层次的结构，且这些层次相互关联和影响。

 

五、自然语言处理

NLP常用的三类网络

循环模型

循环神经网络（RNN）对于自然语言这种具有先后顺序的信息处理具有天然优势。RNN 通过循环结构，将上一时刻的信息传递到当前时刻，从而实现对序列的记忆和处理。长短期记忆网络（LSTM）和门控循环单元（GRU）是对 RNN 的改进，能更好地处理长期依赖问题。

可以加隐马尔可夫，使循环模型获得隐马尔可夫模型类似的前瞻能力

卷积模型

卷积神经网络（CNN）在自然语言处理中也有应用。它通过卷积操作提取文本中的局部特征，比如词或短语的特征。CNN 可以捕捉文本中的局部模式和结构信息。

可以加隐马尔可夫，结合卷积模型平移不变性和隐马尔可夫模型对序列数据的建模能力，提高语音识别的性能。

递归模型

递归神经网络（RecNN）将句子或文本看作是树状结构，通过递归地处理节点来对文本进行建模。这种模型可以更好地捕捉句子的层次结构和语法信息。

递归模型可以加隐马尔可夫，结合递归模型在时间序列上的建模能力和隐马尔可夫模型对状态序列的概率的表示能力，提高语音识别的性能。

 

补充说明：隐马尔可夫模型是一种统计模型。它具有两个序列，一个是可观察的状态序列，另一个是隐藏的状态序列。隐藏状态之间存在转移概率，从某个隐藏状态到可观察状态也有输出概率。

 

NLP的语言模型

编码器-解码器模型

编码器-解码器模型由编码器和解码器两个部分组成。

编码器将输入的文本序列转化为上下文表征，它学习输入文本的特征和模式，以便更好地理解文本的含义。解码器则根据上下文表征生成新的文本序列，它根据编码器生成的表示来生成相应的输出，能回答问题、生成文本等。

 BERT模型基于编码器模型，但不是典型的编码器-解码器模型。

词表征到上下文表征

词表征是指将文本中的单词或词语表示为向量的形式，以便计算机能够处理和理解文本。常见的词表征方法包括词袋模型（Bag-of-Words）、词向量（Word Embedding）等。

上下文表征则是指考虑文本的上下文信息，将文本表示为一个向量或矩阵的形式。上下文表征可以更好地捕捉文本的语义和语法信息，提高自然语言处理的性能。

XLNet模型算是词表征到上下文表征的一种模型。

分布式表征

分布式表征指用一个低维的向量来表示语言中的元素（如单词、概念等），这个向量的各个维度的值共同构成对该元素的描述。

分布式表征能发现语义的相似性和关联性，能灵活地处理大规模的语言数据，并且有利于模型训练。

文本挖掘中的词嵌入方法（如GloVe和Word2Vec）属于分布式表征，都是用向量表示语言或者文档内容中的元素。

 

NLP的任务

自然语言处理的任务有：

- 机器翻译：将一种语言的文本翻译成另一种语言。

- 文本分类：将文本划分到不同的类别中，如新闻分类、情感分类等。

- 命名实体识别：识别文本中的特定实体，如人名、地名、组织机构名等。

- 问答系统：根据给定的问题提供准确答案。

- 文本生成：生成新的自然语言文本，如文章写作、对话生成等。

- 情感分析：判断文本所表达的情感倾向是积极、消极还是中性。

- 阅读理解：理解文本内容，并且能根据文本回答相关问题。

模型应该是根据任务的需要建立的。

 

作者只是初学者，文章主要用来记录学习，内容仅供参考。