devbox
我家小花儿
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

深度学习笔记——Word2vec和Doc2vec训练实例以及参数解读_word2vec训练参数表

作者：我家小花儿 | 2024-04-24 04:29:09

赞

踩

word2vec训练参数表

转自：https://blog.csdn.net/mpk_no1/article/details/72510655

API：https://radimrehurek.com/gensim/models/doc2vec.html

用gensim函数库训练Word2Vec模型有很多配置参数。这里对gensim文档的Word2Vec函数的参数说明进行翻译，以便不时之需。

class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5, min_count=5, max_vocab_size=None, sample=0.001,seed=1, workers=3,min_alpha=0.0001, sg=0, hs=0, negative=5, cbow_mean=1, hashfxn=<built-in function hash>,iter=5,null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000)

参数：

·  sentences：可以是一个·ist，对于大语料集，建议使用BrownCorpus,Text8Corpus或·ineSentence构建。

·  sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。

·  size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。

·  window：表示当前词与预测词在一个句子中的最大距离是多少

·  alpha: 是学习速率

·  seed：用于随机数发生器。与初始化词向量有关。

·  min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5

·  max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个，则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。

·  sample: 高频词汇的随机降采样的配置阈值，默认为1e-3，范围是(0,1e-5)

·  workers：参数控制训练的并行数。

·  hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0（defau·t），则negative sampling会被使用。

·  negative: 如果>0,则会采用negativesamp·ing，用于设置多少个noise words

·  cbow_mean: 如果为0，则采用上下文词向量的和，如果为1（defau·t）则采用均值。只有使用CBOW的时候才起作用。

·  hashfxn： hash函数来初始化权重。默认使用python的hash函数

·  iter： 迭代次数，默认为5

·  trim_rule： 用于设置词汇表的整理规则，指定那些单词要留下，哪些要被删除。可以设置为None（min_count会被使用）或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。

·  sorted_vocab： 如果为1（defau·t），则在分配word index 的时候会先对单词基于频率降序排序。

·  batch_words：每一批的传递给线程的单词的数量，默认为10000


本篇主要用一个实例来介绍一下如何进行Word2vec和Doc2vec的训练，并对Word2vec和Doc2vec模型训练过程中的参数进行一些解读。使用的是Python版本的gensim库实现，想要了解Word2vec和Doc2vec的原理可以查看我的上一篇博客（ 深度学习笔记——Word2vec和Doc2vec原理理解并结合代码分析）。代码见我的GitHub（使用Gensim库训练Word2vec和Doc2vec模型）


Word2vec

使用Gensim训练Word2vec十分方便，训练步骤如下：

1.将语料库预处理：一行一个文档或句子，将文档或句子分词（以空格分割，英文可以不用分词，英文单词之间已经由空格分割，中文预料需要使用分词工具进行分词，常见的分词工具有StandNLP、ICTCLAS、Ansj、FudanNLP、HanLP、结巴分词等）；

2.将原始的训练语料转化成一个sentence的迭代器，每一次迭代返回的sentence是一个word（utf8格式）的列表。可以使用Gensim中word2vec.py中的LineSentence()方法实现；

3.将上面处理的结果输入Gensim内建的word2vec对象进行训练即可：

[python]  view plain  copy
  1. from gensim.models import Word2Vec  
[python]  view plain  copy
  1. model = Word2Vec(LineSentence(inp), size=100, window=10, min_count=3,  
  2.             workers=multiprocessing.cpu_count(), sg=1, iter=10, negative=20)  
具体的训练参数解释如下：

[python]  view plain  copy
  1. class Word2Vec(utils.SaveLoad):  
  2.     def __init__(  
  3.             self, sentences=None, size=100, alpha=0.025, window=5, min_count=5,  
  4.             max_vocab_size=None, sample=1e-3, seed=1, workers=3, min_alpha=0.0001,  
  5.             sg=0, hs=0, negative=5, cbow_mean=1, hashfxn=hash, iter=5, null_word=0,  
  6.             trim_rule=None, sorted_vocab=1, batch_words=MAX_WORDS_IN_BATCH):  

· sentences：可以是一个list，对于大语料集，建议使用BrownCorpus,Text8Corpus或lineSentence构建。

· size：是指特征向量的维度，默认为100。

· alpha: 是初始的学习速率，在训练过程中会线性地递减到min_alpha。

· window：窗口大小，表示当前词与预测词在一个句子中的最大距离是多少。

· min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。

· max_vocab_size: 设置词向量构建期间的RAM限制，设置成None则没有限制。

· sample: 高频词汇的随机降采样的配置阈值，默认为1e-3，范围是(0,1e-5)。

· seed：用于随机数发生器。与初始化词向量有关。

· workers：用于控制训练的并行数。

· min_alpha：学习率的最小值。

· sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。

· hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0（默认），则使用negative sampling。

· negative: 如果>0,则会采用negativesampling，用于设置多少个noise words（一般是5-20）。

· cbow_mean: 如果为0，则采用上下文词向量的和，如果为1（default）则采用均值，只有使用CBOW的时候才起作用。

· hashfxn： hash函数来初始化权重，默认使用python的hash函数。

· iter： 迭代次数，默认为5。

· trim_rule： 用于设置词汇表的整理规则，指定那些单词要留下，哪些要被删除。可以设置为None（min_count会被使用）。

· sorted_vocab： 如果为1（默认），则在分配word index 的时候会先对单词基于频率降序排序。

· batch_words：每一批的传递给线程的单词的数量，默认为10000。

一些参数的选择与对比：

1.skip-gram （训练速度慢，对罕见字有效），CBOW（训练速度快）。一般选择Skip-gram模型；

2.训练方法：Hierarchical Softmax（对罕见字有利），Negative Sampling（对常见字和低维向量有利）；

3.欠采样频繁词可以提高结果的准确性和速度（1e-3~1e-5）

4.Window大小：Skip-gram通常选择10左右，CBOW通常选择5左右。

综上，就完成了一个Word2vec模型的训练过程。可以将训练好的模型保存在文件中：

[python]  view plain  copy
  1. model.save_word2vec_format(outp2, binary=False)  
当然，也可以调用load()函数将保存的模型加载进来：
[python]  view plain  copy
  1. from gensim.models import Word2Vec  
  2. model = Word2Vec.load("D:/data/wiki2vector/en_1000_no_stem/en.model")  
  3. print(model.similarity('woman', 'man'))  

Doc2vec

Doc2vec的工作原理与word2vec极为相似，只是将文档或句子作为一个特殊的token id引入训练语料中。在Gensim中，doc2vec也是继承于word2vec的一个子类。训练过程十分相似。

主要的区别在数据的预处理上，Doc2vec接受一个由TaggedLineDocument对象组成的迭代器作为其构造函数的输入参数。可以使用Gensim内建的类TaggedLineDocument来实现：

[python]  view plain  copy
  1. class TaggedLineDocument(object):  
  2.     """Simple format: one document = one line = one TaggedDocument object. 
  3.  
  4.     Words are expected to be already preprocessed and separated by whitespace, 
  5.     tags are constructed automatically from the document line number."""  
  6.     def __init__(self, source):  
  7.         self.source = source  
  8.   
  9.     def __iter__(self):  
  10.         """Iterate through the lines in the source."""  
  11.         try:  
  12.             # Assume it is a file-like object and try treating it as such  
  13.             # Things that don't have seek will trigger an exception  
  14.             self.source.seek(0)  
  15.             for item_no, line in enumerate(self.source):  
  16.                 yield TaggedDocument(utils.to_unicode(line).split(), [item_no])  
  17.         except AttributeError:  
  18.             # If it didn't work like a file, use it as a string filename  
  19.             with utils.smart_open(self.source) as fin:  
  20.                 for item_no, line in enumerate(fin):  
  21.                     yield TaggedDocument(utils.to_unicode(line).split(), [item_no])  
训练语句也是十分简单，一行代码就可以搞定：
[python]  view plain  copy
  1. model = Doc2Vec(TaggedLineDocument(inp), size=200, window=5, min_count=5, workers=multiprocessing.cpu_count())  
当然，也可以将训练好的模型保存起来，由于Doc2vec的训练过程也可以同时训练Word2vec，所以可以直接获取两个模型，全部保存起来：
[python]  view plain  copy
  1. model.save(outp1)#save dov2vec  
  2. model.save_word2vec_format(outp2, binary=False)#save word2vec  

具体的训练参数解释如下：

[python]  view plain  copy
  1. class Doc2Vec(Word2Vec):  
  2.     """Class for training, using and evaluating neural networks described in http://arxiv.org/pdf/1405.4053v2.pdf"""  
  3.     def __init__(self, documents=None, dm_mean=None,  
  4.                  dm=1, dbow_words=0, dm_concat=0, dm_tag_count=1,  
  5.                  docvecs=None, docvecs_mapfile=None, comment=None, trim_rule=None, **kwargs):  

· dm： 训练算法：默认为1，指DM；dm=0,则使用DBOW。

· dm_mean： 当使用DM训练算法时，对上下文向量相加（默认0）；若设为1，则求均值。

· dm_concat： 默认为0，当设为1时，在使用DM训练算法时，直接将上下文向量和Doc向量拼接。

· dbow_words： 当设为1时，则在训练doc_vector（DBOW）的同时训练Word_vector（Skip-gram）；默认为0，只训练doc_vector，速度更快。

其他参数与Word2vec的训练参数类似。




声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/477607
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号