Datawhale AI 夏令营——从零入门NLP竞赛 Task 02 笔记

作者：一片蔚蓝的天空

Part1: 数据预处理

1. 数据清洗：去除无关信息如HTML标签和特殊字符，统一文本格式。
2. 分词处理：使用jieba进行中文分词，spaCy进行英文分词，将文本分解为基本语义单位。
3. 词汇表与词向量：构建词汇表并为每个词分配索引，使用词向量技术映射词汇到高维空间，增强语义理解。
4. 序列处理：通过截断和填充确保输入序列长度一致，使用<PAD>标记填充不足部分。
5. 特殊标记：添加<SOS>、<EOS>和<UNK>标记，帮助模型识别序列的起始、结束和未知词汇。

数据增强策略：

• 随机替换或删除：增加模型对文本变化的适应能力。
• 同义词替换：丰富训练数据，提高模型泛化能力。

数据集管理：

• 数据集划分：虽然本任务中数据集已预划分，但了解其重要性对于模型训练和评估至关重要。

拓展思考：

• 考虑数据预处理的自动化和标准化流程，提高效率。
• 探索更先进的分词和词向量技术，如BERT等预训练语言模型，以进一步提升翻译质量。
• 在数据增强中，尝试引入更多自然语言处理技术，如语义角色标注，以增加模型的深度理解能力。

Part2: 模型训练

核心概念：

• 编码器-解码器模型：一种用于描述输入输出关系的方式，广泛应用于神经机器翻译。
• 编码器：将源语言文本编码为实数向量，代表文本的“特征”。
• 解码器：将编码后的向量转换为目标语言文本。

编码器结构：

• 词嵌入层：将单词映射到多维实数空间。
• 中间网络层：进一步抽象词嵌入向量，常用结构包括RNN、CNN、自注意力机制。

解码器结构：

• 循环神经网络：在每个时间步更新隐状态，生成目标语言单词。
• 输出层：生成每个目标语言位置的单词生成概率。
• 编码-解码注意力子层：帮助模型更好地利用源语言信息。

模型工作流程：

1. 编码过程：源语言单词序列通过编码器生成实数向量。
2. 解码过程：解码器接收编码向量，逐词生成目标语言句子。
3. 启动与结束：使用特殊符号[Start]启动解码，[Stop]结束解码。

性能挑战：

• 随着源语言文本长度增加，单一向量可能无法承载所有信息，影响翻译性能。

解决方案：

• 注意力机制：允许模型在解码时动态关注源语言文本的不同部分，提高翻译的准确性和灵活性。

模型示例：

• 基于RNN的机器翻译模型：编码器通过RNN处理源语言文本，解码器生成目标语言文本。

关键参数：

• U, W, V：可学习参数，负责维护循环状态和生成词表概率分布。

性能评估：

• BLEU：常用于评估机器翻译模型的翻译质量，随文本长度增加，单一向量模型的BLEU值可能下降。

模型优化方向：

• 探索更复杂的网络结构和注意力机制，提高模型对长文本的处理能力。

Part3: GRU（门控循环单元）

1. 定义与目的

• GRU（Gated Recurrent Unit）是一种循环神经网络（RNN）的变体，旨在解决传统RNN在处理长序列时的梯度消失或爆炸问题。
• 它通过引入门控机制来控制信息的流动，从而提高模型在处理时间序列数据时的效果。

2. 门控机制

• 更新门（Update Gate）：控制信息从当前时间步传递到下一个时间步的程度。公式为：  其中，
  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/喵喵爱编程/article/detail/987049?site