什么是自然语言处理？

说到自然语言处理（Natural Language Processing，简称NLP），首先我们要感谢一下大语言模型的风，呼呼的吹，吹的大家晕头转向，但是也把自然语言处理的这个研究方向吹到了大家的面前。说到以前，别人问我什么是自然语言处理，我说你知道百度吧，你想搜一个东西，他就给你返回一堆相关的内容，大概就是干这个事情的。现在再有人问我什么是自然语言处理，我就说，你知道ChatGPT吧，大概就是做这玩意儿的。一个是百度检索，一个是被追星逐月的ChatGPT。不论是哪条技术路线，两者都是以用户的输入为input，基于一定的语料和数据，得到output返回给用户。那为什么叫他自然语言处理呢？什么是自然语言处理？

这里我参考了雪城大学Elizabeth D. Liddy教授在《Natural language processing》一书中的给出的定义（文章结尾给出了云盘链接，可以读一下这个资料，很详细）。

细细理解Definition的部分：

首先，自然语言处理是一系列理论驱动的计算技术。

自然语言处理可以从一个或多个语言分析层级/粒度，对自然发生的文本进行分析和表示。

目的是，像人类处理语言一样，去实现一系列任务或应用程序。

这里再详细解释几点：

naturally occurring texts：可以是任何语言，可以是写下来的文本或者口头讲述的内容，人们在自然交流沟通过程中产生的语言和文本。

levels of linguistic analysis：简单来说自然语言处理里有非常多不同的任务，涉及到不同粒度的信息，比如Phonology音韵、Morphology形态、Lexical词汇、Syntactic句法、Semantic语义、Discourse话语、Pragmatic语用（我自己翻译的）。前面几个好理解，句法可以看作是去分析句子中的一个词，涉及到句子的语法结构，需要语法知识和句子的解析，揭示了句子结构和单词之间的依赖关系。语义的话，举个例子，一词多义的义就是我们需要去理解的语义信息。话语，其实可以理解为开始要分析比句子长的文本单位，比如指代消解、段落结构分析。语用的话，可以看作是在一定的情景环境下语言的使用，比如反讽，就是一句话在不同场景里意味可能完全相反。

human-like language processing：这就反映出NLP这事儿是人工智能领域的一部分，毕竟要像人一样去处理信息。话说回来，你觉得ChatGPT通过图灵测试了吗？

在早些时候，NLP也被称为是NLU，即Natural Language Understanding，当然，目前有更多人赞同，NLP的目的是真正的NLU。Liddy在文章里提到一个完美的NLU系统应该可以做到以下几点：

1. Paraphrase an input text
2. Translate the text into another language
3. Answer questions about the contents of the text
4. Draw inferences from the text

第四点，从文本中得到推论，如果往一些比较难得任务上来展开，其所需的逻辑推理能力是目前大语言模型还较为欠缺的。

另一种围绕NLP的分类是将其分成了language processing和language generation，即处理和生成。处理可以看作是对已有文本进行再加工，比如信息抽取。而生成则是根据已有文本生成新的内容，比如自动摘要。

最后还有一种分类则是分成了，language understanding和speech understanding，即把需要understand的对象进行了语言和语音的区分。Speech understanding是将语言的声音转化为声波，然后识别对应的语素和单词。

讲了这些，是不是大概就知道NLP是做啥的啦？不知道的话也没事：）

最后简单介绍一下Liddy女士，Liddy雪城大学信息研究学院前院长，自然语言处理领域的先驱。1994 年，Liddy 成为基于语义的搜索引擎 TextWise 的创始总裁。1999 年创办了雪城大学自然语言处理中心。2008年被任命为信息学院（iSchool）院长，并担任该职位十余年。 2012 年至 2014 年，她担任 iSchool 组织的主席，该组织将世界各地的信息科学学校联系起来。此外，她还被选为2007-2009年度计算机信息检索特别兴趣小组(ACM-SIGIR)主席。当然了，还有很多的荣誉和称号，非常棒！

Liddy, Elizabeth D. "Natural language processing." (2001). 云盘链接：文件分享https://share.weiyun.com/9IpVedXj