构建实用的NLP应用程序：重塑人类与计算机的协同工作方式

---

在数字化时代，自然语言处理（NLP）技术正以前所未有的方式改变着人类与计算机之间的交互模式。通过构建实用且高效的NLP应用程序，我们不仅能够提升工作效率，还能开启全新的协同工作体验，推动社会生产力迈向新的高度。

一、NLP技术的核心价值

NLP技术作为人工智能的重要组成部分，其核心在于模拟人类的语言理解和生成能力。这一技术使得计算机能够处理、解析并生成自然语言文本，从而打破了传统计算机语言与人类语言之间的壁垒。在协同工作场景中，NLP技术的应用尤为关键，它能够自动处理大量文档、会议记录、电子邮件等，提取关键信息，辅助决策制定，甚至参与对话交流，极大地提升了工作效率和沟通质量。

二、构建实用NLP应用程序的关键步骤

1. 明确需求与场景：
   在开始构建NLP应用程序之前，首先需要明确应用程序的目标用户、使用场景及具体需求。这有助于我们更好地理解用户需求，为后续的模型选择和开发提供指导。

2. 数据收集与预处理：
   数据的质量和数量对于NLP模型的训练至关重要。因此，我们需要收集与目标场景相关的自然语言数据，并进行清洗、标注等预处理工作。这包括去除噪声数据、纠正错误文本、标注实体关系等。

3. 选择合适的NLP模型：
   根据需求选择合适的NLP模型是构建应用程序的关键一步。当前，有许多成熟的NLP模型可供选择，如基于Transformer的BERT、GPT系列等。这些模型在多种NLP任务中表现出色，但也需要根据具体任务进行微调或定制开发。

4. 模型训练与优化：
   利用预处理后的数据进行模型训练，并通过调整超参数、优化算法等方式提升模型性能。在训练过程中，需要密切关注模型的收敛情况、过拟合问题等，并进行相应的调整和优化。

5. 系统集成与部署：
   将训练好的模型集成到应用程序中，并进行全面的测试，确保系统的稳定性和用户体验。同时，还需要考虑系统的可扩展性和可维护性，为未来的升级和迭代预留空间。

6. 持续迭代与优化：
   NLP技术的发展日新月异，新的算法和模型不断涌现。因此，我们需要保持对新技术的关注和学习，不断迭代优化我们的应用程序，以适应不断变化的需求和技术环境。

三、NLP应用程序在协同工作中的创新应用

1. 智能文档处理：
   利用NLP技术自动提取文档中的关键信息，如摘要、关键词、实体关系等，辅助用户快速理解文档内容。同时，支持文档分类、聚类、检索等功能，提升文档管理的效率。
2. 智能客服系统：
   通过NLP技术实现自然语言交互，为用户提供便捷、高效的客服体验。智能客服系统能够自动回答用户问题、提供解决方案，并在必要时转接人工客服，提升客户满意度。
3. 情感分析与舆情监测：
   利用NLP技术分析社交媒体、新闻网站等渠道上的文本信息，识别出公众的情感倾向和舆论趋势。这有助于企业及时了解市场动态、调整营销策略，并预防潜在的公关危机。
4. 智能会议助手：
   在远程会议或面对面会议中，智能会议助手能够自动记录会议内容、提取关键信息、生成会议纪要，并支持语音转文字、实时翻译等功能。这有助于提升会议效率和质量，促进团队成员之间的有效沟通。
5. 个性化智能助手：
   构建基于NLP的个性化智能助手，根据用户的偏好和习惯提供定制化的服务。例如，根据用户的日程安排提醒重要事项、根据用户的阅读习惯推荐相关文章等。

构建实用的NLP应用程序是一个复杂而充满挑战的过程，但其带来的价值却是不可估量的。通过合理规划和精心实施，我们可以将NLP技术应用于各种协同工作场景中，提升工作效率、优化沟通体验、推动社会生产力的发展。未来，随着NLP技术的不断发展和完善，我们有理由相信它将在更多领域发挥重要作用，为人类创造更加智能、便捷的生活和工作环境。

---

《赠ChatGPT中文范例的自然语言处理入门书》

[Real-World Natural Language Processing： Practical applications with deep learning]

编辑推荐

本书不是一本教科书。本书专注于构建用于现实工作的NLP应用。这里的“现实”有双重含义。首先，本书通过一个一个的实战示例讲述如何构建可以用在现实工作中的NLP应用而不仅仅是Hello World.读者不仅将学习如何训练NLP模型,还将学习如何设计、开发、部署和监控它们。在该过程中，还将学习现代NLP模型的基本构建模块，以及NLP领域的最新发展，这些发展对于构建NLP应用很有用。其次,与大多数入门书籍不同，本书没有采用从理论基础学起的教学方法，一页一页地展示神经网络理论和数学公式:而是采用从实践开始的教学方法，专注于快速构建“能用就好”的NLP应用。完成这个目标后，再更深入研究构成NLP应用的各个概念和模型。你还将学习如何使用这些基本构建模块构建适合你需求的端到端自定义NLP应用。

内容简介

虽然训练计算机以解释和生成语音和文本这个挑战很大，但是它在减少劳动力和改进人机交互方面所带来的回报也很大！自然语言处理（NLP）领域目前正在快速发展，诞生了大量新的工具和实践。这本独特的书可以给读者带来一系列可以应用于机器翻译、语音助手、文本生成等领域的创新NLP技术。
　　《赠ChatGPT中文范例的自然语言处理入门书》将展示如何构建实用的、可以改变人类和计算机协同工作方式的NLP应用程序。该书通过对每个核心NLP主题进行清晰、直观的解释和指导，帮助你创建许多有趣的应用程序，包括情感分析器和聊天机器人。在该过程中，你将使用Python和开源库（AllenNLP和Hugging Face Transformers）加快开发过程。

作者简介

Masato Hagiwara 于 2009 年获得名古屋大学计算机科学博士学位。他曾在 Google 和 Microsoft 研究院实习，并在北京多邻国科技有限公司担任过高级机器学习工程师。他现在经营自己的研究和咨询公司。

精彩书评

★“对于我们这些试图理解NLP及其应用的人来说，这本书是一本quan威的参考资料。”
　　——Richard Vaughan Purple Monkey Collective
　　
　　★“这是一本非常实用的NLP书籍，介绍了如何将NLP技术运用到实际应用中。”
　　——Salvatore Campagna，King公司
　　
　　★“如果你需要提高技能水平，但被困难的学习曲线所吓到，那么这本书十分适合你！”
　　——Alain Lompo，ISO-Gruppe
　　
　　★“一本很棒、易于理解的NLP入门书。写作精良，易于学习。”
　　——Marc-Anthony Taylor Blackshark.ai

目录

第Ⅰ部分 基础

第1章　自然语言处理简介 3

1.1 什么是自然语言处理 4

1.1.1 什么是NLP 4

1.1.2 什么不是NLP 5

1.1.3 AI、机器学习、深度学习和

NLP之间的关系 7

1.1.4 为什么学习NLP 9

1.2 典型的NLP应用和任务 11

1.2.1 NLP应用 11

1.2.2 NLP任务 13

1.3 构建NLP应用 18

1.3.1 NLP应用的开发 18

1.3.2 NLP应用的结构 21

1.4 本章小结 22

第2章 你的第一个NLP应用 23

2.1 情感分析简介 23

2.2 NLP的数据集 24

2.2.1 什么是数据集 24

2.2.2 斯坦福情感树库 25

2.2.3 训练集、验证集和测试集 26

2.2.4 使用AllenNLP加载SST

数据集 28

2.3 使用词嵌入 29

2.3.1 什么是词嵌入 30

2.3.2 如何在情感分析中使用词嵌入 31

2.4 神经网络 32

2.4.1 什么是神经网络 32

2.4.2 循环神经网络和线性层 33

2.4.3 情感分析的神经网络架构 34

2.5 损失函数及优化器 36

2.6 训练你自己的分类器 38

2.6.1 批量处理 38

2.6.2 把所有组件整合在一起 39

2.7 评估分类器 39

2.8 部署应用 40

2.8.1 进行预测 40

2.8.2 通过Web提供预测服务 41

2.9 本章小结 42

第3章 词嵌入与文档嵌入 43

3.1 嵌入简介 43

3.1.1 什么是嵌入 43

3.1.2 为什么嵌入很重要 44

3.2 语言的构建块：字符、单词

和短语 45

3.2.1 字符 45

3.2.2 单词、词元、语素和短语 46

3.2.3 n-gram 47

3.3 词元化、词干提取和词形

还原 47

3.3.1 词元化 47

3.3.2 词干提取 49

3.3.3 词形还原 49

3.4 Skip-gram和CBOW 50

3.4.1 词嵌入的数字从何而来 50

3.4.2 通过单词相关性推导得出 51

3.4.3 线性层 52

3.4.4 softmax 54

3.4.5 使用AllenNLP实现Skip-gram 55

3.4.6 CBOW模型 59

3.5 GloVe 60

3.5.1 GloVe如何学习词嵌入 61

3.5.2 使用预训练GloVe向量 62

3.6 fastText 64

3.6.1 使用子词信息 64

3.6.2 使用fastText工具包 66

3.7 文档级嵌入 66

3.8 对嵌入可视化 69

3.9 本章小结 71

第4章 句子分类 73

4.1 循环神经网络(RNN) 73

4.1.1 处理可变长度的输入 73

4.1.2 RNN抽象结构 75

4.1.3 Simple RNN和非线性函数 76

4.2 长短期记忆(LSTM)和门控

循环单元(GRU) 79

4.2.1 梯度消失问题 79

4.2.2 长短期记忆 81

4.2.3 门控循环单元 83

4.3 准确率、查准率、查全率和

F-度量 84

4.3.1 准确率 84

4.3.2 查准率和查全率 85

4.3.3 F-度量 86

4.4 构建AllenNLP训练流水线 86

4.4.1 实例和字段 87

4.4.2 词表和词元索引器 88

4.4.3 词元嵌入和RNN 89

4.4.4 构建个人模型 90

4.4.5 把所有东西整合在一起 91

4.5 配置AllenNLP训练流水线 92

4.6 实战示例：语言检测 94

4.6.1 使用字符作为输入 95

4.6.2 创建数据集读取器 95

4.6.3 构建训练流水线 97

4.6.4 用新的实例预测 99

4.7 本章小结 100

第5章 序列标注和语言模型 101

5.1 序列标注简介 101

5.1.1 什么是序列标注 101

5.1.2 使用RNN编码序列 103

5.1.3 实现AllenNLP的Seq2Seq

编码器 105

5.2 构建词性标注器 106

5.2.1 读取数据集 106

5.2.2 定义模型和损失值 107

5.2.3 构建训练流水线 109

5.3 多层和双向RNN 110

5.3.1 多层RNN 110

5.3.2 双向RNN 112

5.4 命名实体识别 114

5.4.1 什么是命名实体识别 114

5.4.2 标注span 115

5.4.3 实现命名实体识别器 115

5.5　语言模型 117

5.5.1　什么是语言模型 117

5.5.2　为什么语言模型很有用 118

5.5.3　训练RNN语言模型 119

5.6　使用RNN生成文本 120

5.6.1　向RNN提供字符 120

5.6.2　构建语言模型 121

5.6.3 使用语言模型生成文本 123

5.7 本章小结 125

第Ⅱ部分 高级模型

第6章 序列到序列(Seq2Seq)

模型 129

6.1 介绍序列到序列模型 129

6.2 机器翻译入门 131

6.3 构建你的第一个翻译器 134

6.3.1 准备数据集 134

6.3.2 训练模型 137

6.3.3 运行翻译器 139

6.4 Seq2Seq模型的工作原理 140

6.4.1 编码器 140

6.4.2 解码器 142

6.4.3 贪婪解码算法 144

6.4.4 束搜索解码 147

6.5 评估翻译系统 148

6.5.1 人工评估 148

6.5.2 自动评估 149

6.6 实战示例：构建聊天

机器人 150

6.6.1 对话系统简介 150

6.6.2 准备数据集 151

6.6.3 训练和运行聊天机器人 152

6.6.4 下一步 154

6.7 本章小结 155

第7章 卷积神经网络 157

7.1 卷积神经网络(CNN)简介 157

7.1.1 RNN简介及其缺点 157

7.1.2 使用模式匹配进行句子分类 159

7.1.3 卷积神经网络 159

7.2 卷积层 160

7.2.1 使用过滤器匹配模式 160

7.2.2 整流线性单元(ReLU) 162

7.2.3 组合分数 163

7.3 汇聚层 164

7.4 实战示例：文本分类 165

7.4.1 回顾文本分类 166

7.4.2 使用CNN编码器

(CnnEncoder) 166

7.4.3 训练和运行分类器 167

7.5 本章小结 168

第8章 注意力机制和Transformer

模型 169

8.1 什么是注意力机制 169

8.1.1 普通Seq2Seq模型的局限性 170

8.1.2 注意力机制 170

8.2 用于Seq2Seq模型的注意力

机制 172

8.2.1 编码器-解码器注意力机制 172

8.2.2 通过机器翻译比较带注意力

和不带注意力的Seq2Seq

模型 173

8.3 Transformer模型和自注意

力机制 175

8.3.1 自注意力机制 176

8.3.2 Transformer模型 179

8.3.3 实验 181

8.4 基于Transformer模型的

语言模型 183

8.4.1 基于Transformer的语言

模型 184

8.4.2 Transformer-XL 185

8.4.3 GPT-2 188

8.4.4 XLM 190

8.5 实战示例：拼写检查器 191

8.5.1 像机器翻译一样看待拼写检查器 191

8.5.2 训练拼写检查器 193

8.5.3 改进拼写检查器 195

8.6 本章小结 198

第9章 使用预训练语言模型进行迁移学习 199

9.1 迁移学习 199

9.1.1 传统的机器学习 199

9.1.2 词嵌入 200

9.1.3 什么是迁移学习 201

9.2 BERT 202

9.2.1 词嵌入的局限性 202

9.2.2 自监督学习 204

9.2.3 预训练BERT 204

9.2.4 适应BERT 206

9.3 实战示例1：使用BERT进行情感分析 208

9.3.1 对输入词元化 209

9.3.2 构建模型 211

9.3.3 训练模型 212

9.4 其他预训练语言模型 215

9.4.1 ELMo 215

9.4.2 XLNet 216

9.4.3 RoBERTa 217

9.4.4 DistilBERT 218

9.4.5 ALBERT 219

9.5 实战示例2：使用BERT进行自然语言推理 221

9.5.1 什么是自然语言推理 221

9.5.2 使用BERT进行句子对分类 222

9.5.3 使用AllenNLP构建Transformer模型 224

9.6 本章小结 228
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431

前言/序言

过去20年里，我一直在机器学习(Machine Learning，ML)、自然语言处理(Natural Language Processing，NLP)和教育这几个领域工作，我一直对教育和帮助人们学习新技术充满热情。这就是当我听说有机会出版一本NLP图书时就马上行动的原因。

人工智能(Artificial Intelligence，AI)领域在过去几年中经历了许多变化，其中包括基于神经网络方法的爆炸式普及和大型预训练语言模型的出现。这些变化催生了你每天都在使用的各种高级交互语言技术，如基于语音的虚拟助手、语音识别和越来越优秀的机器翻译。不过，NLP“技术栈”在经历过去几年后终于稳定下来，目前主要以预训练模型和迁移学习为主，并且预计至少在未来几年内将保持稳定。这就是为什么我认为现在是开始学习NLP的好时机。

编写一本关于AI的书绝非易事，因为技术更新太快，以致就像拼命追赶一辆不会减速的汽车。我开始写本书的时候，Transformer刚刚出现，BERT 还不存在。在写作过程中，本书使用的主要NLP框架AllenNLP经历了两次重大更新。之前很少有人使用的一个深度学习NLP库，Hugging Face Transformer，目前已被世界各地的许多从业者使用。两年内，由于Transformer和预训练语言模型(如BERT)的出现，NLP领域的格局发生了翻天覆地的变化。好消息是，现代机器学习的基础知识，包括词嵌入和句嵌入、RNN和CNN，并没有过时而且仍然很重要。本书旨在通过讲解这些想法和概念的“核心”，帮助你构建用于现实工作中的NLP应用。

市场上有许多关于机器学习和深度学习的好书，但其中有些太关注数学和理论，离现实工作太远。本书希望立足于现实工作的NLP，因此本书没有数学公式和太多枯燥的理论。

获取方式

传送门：https://item.jd.com/14193438.html