图书推荐 | 深度序列模型与自然语言处理——基于 TensorFlow 2 实践

深度序列模型与自然语言处理——基于 TensorFlow 2 实践

作者 ：阮翀

书号：9787302629610

定价：99元

出版时间：2023年5月

作者介绍

阮翀

北京大学计算语言研究所硕士，在国内外会议和期刊上发表过多篇自然语言处理相关论文。曾负责网易有道离线神经网络机器翻译模块和 Kikatech 印度输入法引擎算法研发工作，并撰写相关专利。在知乎平台上回答深度学习和自然语言处理相关问题，多个回答获得编辑推荐，上万粉丝关注。

内容简介

《深度序列模型与自然语言处理：基于TensorFlow2实践》以自然语言和语音信号处理两大应用领域为载体，详细介绍深度学习中的各种常用序列模型。

在讲述理论知识的同时辅以代码实现和讲解，帮助读者深入掌握相关知识技能。

《深度序列模型与自然语言处理：基于TensorFlow2实践》共12章，不仅涵盖了词向量、循环神经网络、卷积神经网络、Transformer 等基础知识，还囊括

了注意力机制、序列到序列问题等高级专题，同时还包含其他书籍中较少涉及的预训练语言模型、生成

对抗网络、强化学习、流模型等前沿内容，以拓宽读者视野。

《深度序列模型与自然语言处理：基于TensorFlow2实践》既适合互联网公司算法工程师等群体阅读，又可以作为本科高年级或研究生级别的自然语言处

理和深度学习课程的参考教材。

本书目录

第1章 深度学习与自然语言处理概述11.1 自然语言处理简史 21.1.1 自然语言处理能做什么 21.1.2 自然语言处理的发展史 41.2 深度学习的兴起 61.2.1 从机器学习到深度学习 61.2.2 深度学习框架 161.2.3 TensorFlow 2程序样例 19第2章 词向量的前世今生 212.1 文本预处理的流程 222.2 前深度学习时代的词向量 232.2.1 独热向量 232.2.2 分布式表示 242.3 深度学习时代的词向量 262.3.1 词向量的分类 262.3.2 可视化词向量 272.3.3 词向量在下游任务中的使用 292.4 Word2vec数学原理 302.4.1 语言模型及其评价 302.4.2 神经网络概率语言模型 322.4.3 Word2vec原理 332.5 用TensorFlow实现Word2vec 382.5.1 数据准备 382.5.2 模型构建及训练 402.5.3 词向量评估与Gensim实践 41第3章 循环神经网络之一： 输入和输出 453.1 循环神经网络的输入和输出 463.1.1 循环神经网络的状态与输出 463.1.2 输入和输出一一对应 483.1.3 一对多和多对一 493.1.4 任意长度的输入和输出 503.2 区分RNN和RNNCell 513.2.1 基类Layer 523.2.2 RNNCell接口 533.2.3 RNN接口 543.3 简单循环神经网络实例 543.4 三种常见的RNN 563.4.1 SimpleRNN 573.4.2 LSTM 583.4.3 GRU 613.5 双向和多层RNN 633.5.1 双向RNN 633.5.2 单向多层RNN 653.5.3 双向多层RNN 67第 4 章 循环神经网络之二：高级 714.1 在RNN中使用Dropout 714.1.1 全连接层中的Dropout 714.1.2 RNN中的Dropout 734.2 RNN中的梯度流动 754.2.1 时序反向传播算法 754.2.2 LSTM的梯度流 794.3 RNN中的归一化方法 834.3.1 批归一化 844.3.2 层归一化 87第 5 章 循环神经网络之三： 实战技巧 925.1 序列分类 925.1.1 MNIST数字图像分类 925.1.2 变长序列处理与情感分析 945.2 超长序列的处理 1005.2.1 状态传递与数据准备 1015.2.2 字符级语言模型 1045.3 序列标注和条件随机场 1105.3.1 IOB格式 1105.3.2 CONLL2003命名实体识别 1115.3.3 条件随机场 1155.4 中间层输出的提取 119第 6 章 序列到序列问题 1276.1 序列到序列问题概述 1276.1.1 序列到序列问题的两个代表 1276.1.2 三种序列到序列模型 1286.2 CTC 1306.2.1 CTC 模型结构 1316.2.2 长短序列的转换 1326.2.3 计算标签序列的概率 1336.2.4 CTC 的推断算法 1366.2.5 CTC的缺陷 1396.2.6 TensorFlow中的CTC 1396.3 Transducer 1416.3.1 Transducer模型结构 1416.3.2 Transducer的对齐网格 1426.3.3 Transducer的训练算法 1446.3.4 Transducer模型的推断 1456.3.5 Transducer的贪心解码算法 1456.3.6 Transducer的集束搜索解码算法 1466.4 编码器-解码器架构 1486.4.1 编码器-解码器架构简介 1496.4.2 编码器-解码器架构代码示例 1516.4.3 编码器-解码器架构的其他应用 1536.5 文本生成问题的数据处理流程 153第 7 章 注意力机制 1577.1 编码器-解码器-注意力架构概述 1577.2 两种注意力机制的具体实现 1607.2.1 加性注意力 1607.2.2 乘性注意力 1617.2.3 对注意力机制的理解 1637.3 TensorFlow中的注意力机制 1647.3.1 熟悉 tfa.seq2seq1647.3.2 注意力模块的引入 1717.4 注意力机制的其他应用 179第 8 章 超越序列表示：树和图   1818.1 自然语言中的树结构   1818.2 递归神经网络：TreeLSTM   1838.2.1 递归神经网络简介   1838.2.2 TreeLSTM 两例   1858.2.3 N元树形LSTM的TensorFlow实现  1878.3 树形 LSTM 的其他问题   1898.3.1 树形递归   1898.3.2 动态批处理   1918.3.3 结构反向传播算法   1918.3.4 树形 LSTM 的必要性  1928.4 图与自然语言处理  1938.4.1 LSTM 的其他拓展  1938.4.2 图神经网络的应用  195第 9 章 卷积神经网络   1999.1 离散卷积的定义  2009.1.1 卷积的维度  2009.1.2 卷积的参数  2029.2 卷积神经网络的两个实例  2049.2.1 文本分类与 TextCNN  2059.2.2 语音合成与 WaveNet  208第10章 Transformer   21910.1 Transformer 模型结构介绍  22010.1.1 注意力层  22210.1.2 前馈神经网络层  22710.1.3 残差连接与层归一化  22810.1.4 位置信息的引入  22910.1.5 Transformer 整体结构  23210.2 Transformer：实现与思考  23310.2.1 从零实现 Transformer  23310.2.2 训练和推断  24410.2.3 关于Transformer模块的反思  24910.3 Transformer 模型的拓展  25310.3.1 平方复杂度与显存优化  25310.3.2 图灵完备性与归纳偏置  25810.3.3 非自回归模型  25910.4 Transformer与其他模型的联系   261第11章 预训练语言模型   26311.1 预训练语言模型发展简史  26411.2 GPT  26611.2.1 语言模型+精调解决一切问题  26611.2.2 GPT-2 和 GPT-3：大力出奇迹  27011.2.3 GPT系列全回顾  27611.3 BERT  27711.3.1 为什么 GPT 和 ELMo 还不够好  27711.3.2 无监督语料知识提取方案  27811.3.3 在下游任务上精调 BERT  28211.3.4 BERT 改进方案  28411.4 后预训练时代  287第12章 其他复杂模型   28912.1 生成对抗网络  28912.1.1 生成对抗网络简介  28912.1.2 生成对抗网络与无监督机器翻译  29312.2 强化学习  30012.2.1 强化学习基本概念  30012.2.2 策略梯度和 REINFORCE 算法  30312.2.3 强化学习与文本生成  30512.3 流模型  30912.3.1 归一化流简介   31012.3.2 逆自回归流与并行 WaveNet   312参考文献   316附录一 插图   334附录二 算法   337附录三 术语表   338

本书特色

内容覆盖全面：从最基础的词向量，到近期大火的预训练 Transformer 语言模型；从简单实用的 CNN/RNN，到开拓视野的流模型、强化学习，这里有你所需要知道的一切。

理论结合实践：除模型结构外，本书还会涉及自然语言处理任务进行前后处理的细节，以及常见指标的典型范围和物理含义。如何把文本数据转化成训练样本？多层 RNN 之间如何连接？困惑度和 BLEU 分数代表什么？这些问题都能在本书中找到答案。

代码详细解读：本书中重点介绍的模型都有相应的配套代码实现及辅助讲解，帮助读者亲手搭建神经网络、熟悉模型细节。对于某些 TensorFlow 中高度封装的接口，还会详细讲解每个参数的含义和内部实现细节，让读者不仅限于调包，知其然更知其所以然。

参考资料丰富：插图、算法、术语表全部单独形成附录，方便读者翻阅、对照查看。除了仔细讲解基础知识之外，本书还就一些百家争鸣的内容给出了大量延伸阅读的参考文献，引导读者进一步学习探索，兼听则明。

遵循认知规律：内容编排由浅入深，逐步介绍愈来愈复杂的模型结构；同时包含数学公式、文字解释和形象理解，多管齐下帮助读者理解；知识点和学科发展史互相穿插，弄清每个模型的来龙去脉。

内容展示

本文节选自《深度序列模型与自然语言处理：基于TensorFlow2实践》，内容发布获得作者和出版社授权。