【新手入门】课程10-深度学习进阶NLP-机器翻译_该数据集有193319条训练数据,6003条测试数据,词典长度为30000

任务介绍

机器翻译：即用计算机实现从源语言到目标语言转换的过程，是自然语言处理的重要研究领域之一。

源语言：被翻译的语言

目标语言：翻译后的结果语言

数据集介绍

数据集：WMT-14数据集

该数据集有193319条训练数据，6003条测试数据，词典长度为30000。
 
Paddle接口paddle.dataset.wmt14中默认提供了一个经过预处理的较小规模的数据集。

数据预处理：

将每个源语言到目标语言的平行语料库文件合并为一个文件，合并每个xxx.src和xxx.trg文件为xxx；xxx中的第i行内容为xxx.src的第i行和xxx.trg中的第i行连接，用“t”分隔。
 
创建训练数据的源字典和目标字典。每个字典都有DICSIZE个单词，包括语料中词频最高的DICSIZE-3个单词和三个特殊符号：

• < s >表示序列的开始
  

•  

• < e >表示序列的结束
  

•  

• < unk >表示未登录词
  

实践流程

1、准备数据

2、配置网络

• 定义网络
  

•  

• 定义损失函数
  

•  

• 定义优化算法
  

3、训练网络

4、模型评估

5、模型预测

In[ ]

#导入需要的包
 
import numpy as np
 
import paddle as paddle
 
import paddle.fluid as fluid
 
from PIL import Image
 
import os
 
import paddle.fluid.layers as pd
 
import sys

In[ ]

dict_size = 30000#字典维度
 
source_dict_dim = target_dict_dim = dict_size# source_dict_dim:源语言字典维度 target_dict_dim：目标语言字典维度
 
 
hidden_dim = 32 #解码中隐层大小
 
decoder_size = hidden_dim#解码中隐层大小
 
word_dim = 32 #词向量维度
 
batch_size = 200 #数据提供器每次读入的数据批次大小
 
max_length = 8#生成句子的最大长度
 
topk_size = 50
 
beam_size = 2 #柱宽度
 
is_sparse = True#系数矩阵
 
model_save_dir = "machine_translation.inference.model"

In[ ]

# *********获取训练数据读取器和测试数据读取器train_reader 和test_reader***************
 
train_reader = paddle.batch(
 
        paddle.reader.shuffle(
 
            paddle.dataset.wmt14.train(dict_size),buf_size=1000),#dict_size:字典维度 buf_size:乱序时的缓存大小
 
        batch_size=batch_size)                                   #batch_size:批次数据大小
 
#加载预测的数据
 
test_reader = paddle.batch(
 
    paddle.reader.shuffle(
 
        paddle.dataset.wmt14.test(dict_size), buf_size=1000),
 
    batch_size=batch_size)

编码器解码器框架

解决的问题：由任意一个长度的原序列到另一个长度的目标序列的变化问题

• 编码：将整个原序列表征成一个向量
  

•  

• 解码：通过最大化预测序列概率，从中解码出整个目标序列
  

柱搜索算法

• 启发式搜索算法：在图或树中搜索每一步的最优扩展节点
  

• 贪心算法：每一步最优，全局不一定最优
  

• 场景：解空间非常大，内存装不下所有展开解的系统
  

In[ ]

#************************实现编码器*******************