第一章：自然语言处理

第一章：自然语言处理

自然语言处理 (NLP, Natural Language Processing) 又称为计算语言学，是一门借助计算机技术研究人类语言的科学。虽然 NLP 只有六七十年的历史，但是这门学科发展迅速且取得了令人印象深刻的成果。

在上手实践之前，我想先花点时间给大家介绍一下 NLP 的发展历史和 Transformer 模型相关的概念，这对于后期理解模型结构以及自己设计方法会有很大的帮助。

本章将带大家快速穿越 NLP 的发展史，见证从专家系统到 BERT 模型的巨大变化。

机器是否要理解语言？

自然语言处理六七十年的发展历程，基本可以分为两个阶段。

第一阶段：不懂语法怎么理解语言

上世纪 50 年代到 70 年代，人们对用计算机处理自然语言的认识都局限在人类学习语言的方式上，用了二十多年时间苦苦探寻让计算机理解语言的方法，最终却一无所获。

当时学术界普遍认为，要让机器完成 NLP 任务，首先必须让机器理解语言。因此分析语句和获取语义成为首要任务，而这主要依靠语言学家人工总结文法规则。特别是 60 年代基于乔姆斯基形式语言的编译器得到了很大的发展，更加鼓舞了人们通过概括语法规则来解决 NLP 问题的决心。

但是人类语言既复杂又灵活，仅靠手工编写的文法规则根本无法覆盖，规则之间还可能存在矛盾。毕竟与规范严谨的程序语言不同，自然语言是一种复杂的上下文有关文法，实际很难用计算机进行解析。

因此这一阶段，可以说自然语言处理的研究进入了一个误区。

第二阶段：只要看的足够多，就能处理语言

正如人类是通过空气动力学