AIGC时代动手学自然语言处理的不二之作_动手学自然语言处理,屠可伟

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了AIGC时代动手学自然语言处理的不二之作，希望能对学习自然语言处理的同学们有所帮助。

1. 前言

  NLP已经死了吗？ 自从 ChatGPT 横空出世以来，自然语言处理（Natural Language Processing，NLP） 研究领域就出现了一种消极的声音，认为大模型技术导致 NLP “死了”。在某乎上就有一条热门问答，大家热烈地讨论了这个问题。

  有人认为 NLP 的市场肯定有，但 NLP 的研究会遇到麻烦，因为大模型的训练建立在海量数据与超高算力之上，普通研究者难以获取这样的资源，只能做些应用研究；也有人认为大模型为 NLP 打开了一片新天地，NLP 的研究整体上会再上一个新台阶。

  看看专家们怎么说，上海交通大学 ACM 班创办人俞勇教授等几位 AI 学界大咖认为，不了解过去，就无法理解当下。NLP 技术的发展历经了几十年，期间经历了多次重大技术革新，如果我们的讨论脱离历史发展，那是没有意义的。

2. 书籍推荐：《动手学自然语言处理》

2.1 书籍简介

  所以俞勇教授等大佬们决心为 NLP 技术编写一本在历史和现代之间更加平衡的教科书——《动手学自然语言处理》，这本书将为我们讲透 NLP 的经典技术，梳理整个领域的发展脉络，启发我们思考 NLP 的未来。

  限时特惠，5折购买，点击京东链接《动手学自然语言处理》进行购买。

  除了干货满满的书籍以外，本书书课包同步上线，可以点击书课一起购买，更高效哦！购买链接为：https://www.epubit.com/bookDetails?id=UBdab9ed56f707&typeName=%E6%90%9C%E7%B4%A2：

  可能会有同学提出疑问，为什么这本书是学习大模型的不二之选呢？因为本书内容丰富全面，而且为了帮助更好的理解大模型，系统的介绍了NLP 的发展历程。

  NLP 的发展之路充满了探索与创新，2013年前后，基于符号系统和统计学习的方法主导着 NLP 研究的潮流。研究者通过制定复杂的规则和使用统计模型，尽力使计算机能够理解和生成自然语言。

  然而，这种方法在处理复杂的语言结构和语义理解上存在着一定的局限性，难以适应不断增长的数据规模和复杂的语言任务。随着深度学习技术的兴起，特别是深度神经网络的发展，NLP 研究迈上了新台阶。

  深度学习模型强大的表征学习能力，使得计算机可以更好地理解和处理自然语言，在诸多 NLP 任务上取得了突破性的进展。这一时期，神经网络模型开始成为 NLP 研究的主流，为文本分类、情感分析、机器翻译等任务提供了更加高效和灵活的解决方案。

  真正让 NLP 脱胎换骨的是 2018 年，基于 Transfomer 架构的预训练语言模型崛起。预训练模型利用大规模语料库进行无监督学习，为各种 NLP 任务提供了强大的基础。

  到 2022 年底，ChatGPT 的发布引发了前所未有的热潮。ChatGPT 不仅拥有惊人的生成能力，而且能够进行有意义的对话和语言理解，自然语言处理进入新时代。

  NLP 的快速发展也为专业教学带来考验，一方面是已有教材在技术层面过时了，另一方面是市场上的一些新书只关注神经自然语言处理，不涉及传统技术。**《动手学自然语言处理》**就弥补了这两个缺憾，将带领我们温故而知新。

2.2 本书作者

  本书的作者团队堪称豪华，我们来认识一下。

• 屠可伟：上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学习等，主要研究将符号、统计和神经方法相结合用于语言结构的表示、学习与利用。发表论文100余篇，主要发表在ACL、EMNLP、AAAI 等人工智能领域顶级会议。担任多个顶级会议程序委员会委员和领域主席。曾获 ACL 2023 杰出论文奖，以及 SemEval 2022 和 SemEval 2023 最佳系统论文奖。

• 王新宇：上海科技大学博士，长期从事自然语言处理研究工作，在 ACL、EMNLP、NAACL 等顶级会议上发表论文10余篇，担任ACL、NAACL 会议的领域主席以及ACL滚动审查（ACL Rolling Review）执行编辑。曾获得中国中文信息学会优秀博士学位论文提名、SemEval 2022 最佳系统论文奖等荣誉。

• 曲彦儒：伊利诺伊大学厄巴纳-香槟分校博士生，长期从事自然语言处理研究工作，在 ACL、NAACL、AAAI、ICLR 等会议上发表了多篇论文。

• 俞勇：上海交通大学 ACM 班创始人，国家级教学名师，上海交通大学特聘教授。2018 年创办伯禹人工智能学院，在上海交通大学ACM 班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养卓越的人工智能算法工程师和研究员。

  有如此多的名师指点，学透 NLP 只需要走好三步。

2.3 玩转NLP要走好这三步

  在学习本书的内容之前，读者需要具备一些基础知识，包括基本的数学概念和机器学习的基础知识，如概率论、概率图模型、神经网络等。如果你已经准备好了，那我们继续前进。

  本书将 NLP 的知识分为三部分，分别是基础、序列、结构。

第一步：基础

  从最基础的自然语言处理技术入手，讲解了文本规范化、文本表示、文本分类和文本聚类等内容。通过学习这些基础知识，读者可以了解如何将文本转化为计算机可以理解和处理的形式，以及如何对文本进行分类和聚类，为后续的学习打下坚实的基础。

第二步：序列

  书中深入探讨了自然语言的序列建模技术，包括语言模型、序列到序列模型、预训练语言模型和序列标注等内容。

  通过学习这些内容，读者将了解对文本序列进行概率建模的方法。书中还介绍了预训练语言模型将语言模型和序列到序列模型在大量数据上进行预训练，获取通用语言学知识的过程。

  这部分内容是本书的重点，涵盖了当前应用最广泛的自然语言处理技术。读者可以学习到构成大模型的基础技术，包括循环神经网络、注意力机制、Transformer 模型。书中对这些知识点给出了详尽的代码说明，帮助读者全盘消化掌握。

第三步：结构

  书中探讨了自然语言文字序列背后更为复杂的结构，包括句法结构、语义结构和篇章结构等内容。

  学习这些知识，读者可以了解句子中词语之间的连接关系、文本表达含义的结构化表示，以及多个句子如何组合形成段落和文章，从而更深入地理解和应用自然语言处理技术。

  这部分内容曾经是自然语言处理的主流技术，也很有可能是未来自然语言处理的重要发展方向，读者可以在这里探索将来的发展机会。

  把这三步走好，读者就摸透了 NLP 技术，可以在工作中大显身手了。

2.4 特色介绍

  NLP 的研究方法也许会改变，但是 NLP 的应用市场会更加广阔。学习 NLP 不仅要追踪热门技术，也要透彻了解 NLP 发展的来龙去脉，《动手学自然语言处理》就可以很好地帮助读者通盘掌握 NLP。

  本书最大的特色就是理论与实践紧密结合，提供了大量的配套学习资源。我们来看一下究竟可以获得哪些资源：纸书 + 可以扫码观看的理论视频课 + 配套课件方便教学 + 课后习题 + 配套代码（可在线运行也可离线运行）+ 配套代码实战课 + 针对高校教师的师资培训计划。

  这几乎就是背靠一个强大的后勤军团，读者根本不用担心学习中会遇到困难，只要将这些资源善加利用，定能啃透 NLP 技术。

  如书名中的“动手学”所示，本书给读者提供了极其便利的学习环境，每一章都由一个 Python Notebook 组成， Notebook 中包括概念定义、理论分析、方法讲解和可执行代码。读者可根据自己的需要学习理论，或者动手实践。精彩代码示例如下所示：

"""
代码来源于GitHub项目huggingface/transformers
(Copyright (c) 2020, The HuggingFace Team, Apache-2.0 License (见附录))
"""
import sys
# 导入第3章使用的《小王子》数据集
sys.path.append('../code')
from utils import TheLittlePrinceDataset

full_text = TheLittlePrinceDataset(tokenize=False).text
# 接下来导入GPT-2模型的分词器并完成分词
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('gpt2')
full_tokens = tokenizer.tokenize(full_text.lower())
train_size = int(len(full_ tokens) * 0.8)
train_tokens = full_tokens[: train_size]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

  内容如此精湛的佳作，自然博得学界、业界各位大佬的一片赞誉之声。

  本书深度整合了自然语言处理的理论精髓与实战智慧，内容讲解深入浅出、代码实例丰富易学，为培养自然语言处理领域的实战型人才提供了坚实的理论基石与丰富的实战资源，是渴望学习自然语言处理的读者必备的入门宝典。

——文继荣 中国人民大学高瓴人工智能学院执行院长、信息学院院长

  在智能化浪潮下，懂技术、知应用的实战型人工智能人才的重要性日益凸显。本书以深入浅出的理论讲解为基础，辅以清晰明了的代码解析，帮助读者将自然语言处理的理论与实战融会贯通，值得广大读者深度研读。

——周明 澜舟科技创始人，ACL 原主席，CCF 原副理事长，微软亚洲研究院原副院长

  学习自然语言处理需要将理论与实战相结合。本书凭借详尽的理论阐述、可运行的代码实例以及配套的习题与教学资源，构建了一座连接理论与实战的桥梁。无论是新手还是老手，均可使用本书深化对自然语言处理的理解并提升实战能力。

——邱锡鹏 复旦大学计算机科学技术学院教授

  本书具有两大亮点。一是以序列和结构为主线来组织自然语言处理的关键技术。序列、结构和语义是语言文字的3个重要属性，语言文字是离散符号的序列，文本又由带有语义信息的结构组成。二是以指导动手实战为目标，每个章节均提供可执行代码，并加以解读。本书非常适合作为自然语言处理领域的高校教材，也适合作为工程师的常备工具书。

——李磊 卡内基梅隆大学计算机科学学院助理教授

  书作为一本全面且系统的自然语言处理教材，深入浅出地讲解了自然语言处理的基本概念和关键方法，无论是学生还是行业人士，都能够通过本书有效掌握自然语言处理的知识体系并进行动手实战。

——杨笛一 斯坦福大学计算机科学系助理教授

  凡是对 NLP 原理和应用有兴趣的读者，包括本科生、研究生、教师、企业研究人员及工程师等，都可以从本书中获得自己想要的知识，助力学习工作得到提升。

3. 粉丝福利

• 本次送书三到五本
• 活动时间：截止到2024-4-25 12:00
• 参与方式：关注博主、并在此文章下面点赞、收藏并任意评论。
• 两本送给所有粉丝抽奖，剩余的送给购买专栏的同学们，购买专栏并且没有送过书的同学们可私信联系，先到先得

4. 自主购买

  小伙伴也可以访问链接进行自主购买哦~

  限时五折购买，直达京东购买链接