Pytorch实现Seq2Seq_seq2seq模型:本项目基于pytorch实现了用于中文文本纠错的seq2seq模型

前言

Seq2Seq模型用来处理nlp中序列到序列的问题，是一种常见的Encoder-Decoder模型架构，基于RNN同时解决了RNN的一些弊端(输入和输入必须是等长的)。Seq2Seq的模型架构可以参考Seq2Seq详解，也可以读论文原文sequence to sequence learning with neural networks.本文主要介绍如何用Pytorch实现Seq2Seq模型。

数据集的准备

本文使用的数据集极为简易，因为只是想要动手实践一下Seq2Seq模型进而更好的理解nlp中模型的搭建和训练。
首先构建字典
建立一个字母表(其实是一个字典，格式为序号:字母,一遍之后用序号检索字母)

char_list = [c for c in 'SEPabcdefghijklmnopqrstuvwxyz']
char_dic = {
   n:i for i,n in enumerate(char_list)}
1
2
3

手动创建数据集

seq_data = [['man', 'women'], ['black', 'white'], ['king', 'queen'], ['girl', 'boy'], ['up', 'down'], ['high', 'low']]
1

数据集只有6对单词，如果有合适的数据集模型的训练效果会好一点。

word embedding
本文采用的编码方式是one-hot编码。将数据集中单词组的第一个单词作为encoder的input输入，将第二个单词作为decoder的output输入，也将第二个单词作为计算loss的target.
需要注意的是，拿input举例，数据集中的每个input向量最终需要整合在一个大的向量中，因此就需要保证每一个时间步输入的单词向量维度是相同的。output和target亦是如此。但是数据集中每个单词向量的长度不可能都相同，所以，需要设置一个单词的最大长度seq_len，每一个单词都用大写P补充为这个长度。

def make_batch(seq_data):
    batch_size = len(seq_data)
    input_batch,output_batch,target_batch = [],[],[]
    for seq in seq_data:
        for i in range(2):
            seq[i] += 'P' * (seq_len - len(seq[i]))
        input = [char_dic[n] for n in seq[0]]
        output = [char_dic[n] for n in ('S' + seq[1])]
        target = [char_dic[n] for n in (seq[1] + 'E')]
    
        input_batch.append(np.eye(n_class)[input])
        output_batch.append(np.eye(n_class)[output])
        target_batch.append(target)
    
    return Variable(torch.Tensor(input_batch)<
1
2
3
4
5
6
7
8
9
10
11
12
13
14