有关预训练字符向量集和词向量集_ctb.50d.vec

Lattice-LSTM模型提供了预训练字符向量集和词向量集.

字符向量gigaword_chn.all.a2b.uni.ite50.vec是基于大规模标准分词后的中文语料库Gigaword使用Word2vec工具训练的向量集合，向量集规模为704 400个字符和词，包括5 700个单字符向量、29 150个双字符向量和278 100个三字符向量。

词向量ctb.50d.vec是基于CTB 6.0（Chinese Treebank 6.0）语料库训练得到的。

该模型实验在保持词向量ctb.50d.vec不变的前提下分别使用gigaword_chn.all.a2b.uni.ite50.vec、nwfe_emd和unlabel_emd 3个字符向量集进行对比实验，实验表明，基于大规模经过标准分词的中文语料库训练的向量集gigaword_chn.all.a2b.uni.ite50.vec在Lattice-LSTM模型的训练中获得最好效果，F1-measure为89.75%。本研究的字符向量是基于字符分割的语料库训练的，F1-measure稍低于使用gigaword_chn.all.a2b.uni.ite50.vec的模型。字符分割后的语料在训练空间向量时相比分词无法充分利用上下文的词信息，训练出的向量会丢失词与上下文之间的语义信息。因此选择使用gigaword_chn.all.a2b.uni.ite50.vec向量模型作为后续对比实验的baseline模型。