一起学Hugging Face Transformers（7） - 使用Transformers 库进行机器翻译（Machine Translation）_marianmtmodel

---

前言

机器翻译（Machine Translation）是自然语言处理（NLP）中的一个重要任务，它涉及将文本从一种语言自动翻译为另一种语言。Hugging Face 的 Transformers 库提供了强大而易用的工具来实现机器翻译任务。本文将详细介绍如何使用 Transformers 库进行机器翻译，包括环境准备、加载预训练模型、进行翻译和调整翻译结果。

---

一、 环境准备

首先，确保安装了必要的库：

pip install transformers
1

二、 导入库并加载预训练模型

我们将使用 MarianMT（Marian Machine Translation）模型，这是一个由 MarianNMT 团队训练的多语言翻译模型，支持多种语言对。

from transformers import MarianMTModel, MarianTokenizer

# 指定模型名称
model_name = "Helsinki-NLP/opus-mt-en-de"  # 英文到德文的翻译模型

# 加载模型和分词器
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
1
2
3
4
5
6
7
8

三、 进行翻译

使用预训练模型进行翻译非常简单。我们只需要输入一个文本，模型将根据这个输入生成翻译结果。

# 定义要翻译的文本
src_texts = ["Hello, how are you?", "This is a machine translation example."]

# 将文本转换为模型输入格式
inputs = tokenizer(src_texts, return_tensors="pt", padding=True, truncation=True)

# 生成翻译
translated = model.generate(**inputs)

# 将生成的 ID 序列转换为文本
translated_texts = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]

# 打印翻译结果
for src, tgt in zip(src_texts, translated_texts):
    print(f"{src} -> {tgt}")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

在这个示例中，我们使用 MarianMT 模型，将英文句子翻译成德文，并打印翻译结果。

四、 支持多语言对

MarianMT 模型支持多种语言对，你可以根据需要选择合适的模型。例如，要进行中文到英文的翻译，可以使用 Helsinki-NLP/opus-mt-zh-en 模型。

# 加载中文到英文的翻译模型和分词器
model_name = "Helsinki-NLP/opus-mt-zh-en"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

# 定义要翻译的中文文本
src_texts = ["你好，你今天怎么样？", "这是一个机器翻译的例子。"]

# 将文本转换为模型输入格式
inputs = tokenizer(src_texts, return_tensors="pt", padding=True, truncation=True)

# 生成翻译
translated = model.generate(**inputs)

# 将生成的 ID 序列转换为文本
translated_texts = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]

# 打印翻译结果
for src, tgt in zip(src_texts, translated_texts):
    print(f"{src} -> {tgt}")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

具体支持的语言可以在网站上查看https://huggingface.co/Helsinki-NLP，进入Models列表里查看即可

五、 调整翻译参数

我们可以通过调整模型的生成参数来控制翻译结果的质量和多样性。常用的生成参数包括：

• max_length: 生成文本的最大长度。
• num_beams: 用于 beam search 的束数，值越高生成的文本越多样，但计算开销也越大。
• length_penalty: 控制生成文本长度的惩罚，值越高生成的文本越简短。

下面是一个示例，展示如何调整这些参数来生成更高质量的翻译：

# 调整生成参数
translated = model.generate(
    **inputs,
    max_length=50,
    num_beams=5,
    length_penalty=2.0,
    early_stopping=True
)

# 将生成的 ID 序列转换为文本并打印
translated_texts = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]

for src, tgt in zip(src_texts, translated_texts):
    print(f"{src} -> {tgt}")
1
2
3
4
5
6
7
8
9
10
11
12
13
14

六、 使用具体任务的模型

除了 MarianMT 模型，Hugging Face 的 Transformers 库还提供了其他专门为翻译任务训练的模型，例如 T5 和 mBART 模型。这些模型在翻译任务中表现优异。

使用 T5 模型进行翻译

from transformers import T5Tokenizer, T5ForConditionalGeneration

# 加载 T5 模型和分词器
model_name = "t5-base"
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

# 定义要翻译的文本
src_texts = ["translate English to German: Hello, how are you?", "translate English to German: This is a machine translation example."]

# 将文本转换为模型输入格式
inputs = tokenizer(src_texts, return_tensors="pt", padding=True, truncation=True)

# 生成翻译
translated = model.generate(**inputs)

# 将生成的 ID 序列转换为文本
translated_texts = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]

# 打印翻译结果
for src, tgt in zip(src_texts, translated_texts):
    print(f"{src} -> {tgt}")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

在这个示例中，我们使用 T5 模型进行翻译，输入文本中指定了源语言和目标语言。

总结

Hugging Face 的 Transformers 库为机器翻译任务提供了强大而灵活的工具。通过使用预训练模型（如 MarianMT 和 T5），我们可以轻松实现高质量的文本翻译。此外，通过调整生成参数，我们可以控制翻译结果的质量和多样性，以满足不同的应用需求。希望本文能帮助你更好地理解和应用 Transformers 库进行机器翻译任务。