从零入门NLP竞赛Task1学习记录

一、魔搭平台操作流程

首先，通过阅读文档，我按照相应步骤进入了魔搭平台，并在GPU环境下上传了数据和代码文件。在成功运行并跑通baseline后，我发现下载的压缩包和对应代码文件的具体用途目前还不甚明了，但我相信通过后续的学习，我会逐渐理解它们的作用。在等待过程中，我顺便了解了机器翻译的发展历程。

二、机器翻译的发展历程

2.1 概述

机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展可以追溯到20世纪50年代，经历了从基于规则的方法、统计方法到深度学习方法的演变过程。

2.2 基于规则的方法

早期的机器翻译系统主要采用基于规则的方法，即利用语言学家编写的语法规则和词典进行翻译。这种方法需要对源语言和目标语言的语法和词汇有深入的理解，但其灵活性和适应性较差，难以处理复杂的语言结构和多义词问题。

2.3 统计机器翻译

随着计算机性能的提升和大规模平行语料库的出现，统计机器翻译开始兴起。这种方法通过分析大量双语文本，自动学习源语言和目标语言之间的对应关系，从而实现翻译。统计机器翻译在处理多义词和语言变异方面表现出更好的效果，但由于其依赖于大量训练数据，对于资源匮乏的语言支持不足。

统计机器翻译中最主流的方法是基于词的统计机器翻译（Word-based MT）以及基于短语的统计机器翻译（Phrase-based SMT），总体上来看包含预处理、句子对齐、词对齐、短语抽取、短语特征准备、语言模型训练等步骤。

2.4 神经网络方法

神经网络方法在机器翻译任务上的应用可以追溯到上世纪八九十年代。但受限于当时的计算资源和数据规模的限制，神经网络方法的性能差强人意，故而其发展停滞了很多年。

近年来，深度学习技术的快速发展推动了神经网络机器翻译（Neural Machine Translation，简称NMT）的兴起。NMT使用深度神经网络模型，如长短期记忆网络（LSTM）和 Transformer，能够自动学习源语言和目标语言之间的复杂映射关系，无需人工设计特征或规则。NMT在翻译质量、速度和适应性方面取得了显著进步，成为当前机器翻译领域的主流方法。

三、数据划分

在机器学习和深度学习项目中，数据集通常被划分为三个部分：训练集（Training Set）、开发集（Development Set，也常被称为验证集，Validation Set）和测试集（Test Set）。这种划分的主要目的是为了评估模型的性能并防止过拟合，确保模型具有良好的泛化能力。

• 训练集：用于训练模型的数据集。
• 开发集：用于模型调优的数据集。
• 测试集：用于评估模型最终性能的数据集。

四、评估指标

对于测试集翻译结果文件，采用自动评价指标 BLEU-4 进行评价。

4.1 BLEU-4 简介

BLEU，全称为Bilingual Evaluation Understudy（双语评估替换），是一种对生成语句进行评估的指标。BLEU 评分是由Kishore Papineni等人2002年的论文《BLEU: a Method for Automatic Evaluation of Machine Translation》中提出的。

BLEU（Bilingual Evaluation Understudy）是一种常用的自动评价指标，用于衡量计算机生成的翻译与一组参考译文之间的相似度。这个指标特别关注 n-grams（连续的n个词）的精确匹配。

4.2 BLEU-4 特点

• 优点：计算速度快、计算成本低、容易理解、与具体语言无关、和人类给的评估高度相关。
• 缺点：不考虑语言表达（语法）上的准确性；测评精度会受常用词的干扰；短译句的测评精度有时会较高；没有考虑同义词或相似表达的情况，可能会导致合理翻译被否定。

五、baseline 提升与思考

• N：选择数据集的前N个样本进行训练。
• N_EPOCHS：一次epoch是指将所有数据训练一遍的次数。

在文档中学习发现，上面两个参数会影响结果。以下是我在调整参数后的不同版本结果得分：

• 用时：随着样本数目和训练次数的增加，用时见长，在一定范围内，效果显著变好。

• 原始的N=1000，N_EPOCHS=10，     得分：0.0595

• 修改的N=1500，N_EPOCHS=20，     得分：0.5034

• 改进的N=2000，N_EPOCHS=50，     得分：0.7954