当前位置:   article > 正文

【机器学习】word2vec词向量,相似词,近义词,k-means文本聚类预处理,python_word2vec模型计算一个词的相似词和相关词

word2vec模型计算一个词的相似词和相关词

使用K-means做词聚类需要用到word2vec做词向量化预处理。

@Author  : LinYimeng

代码传送门:

  1. # -*- coding: utf-8 -*-
  2. # @Author : LinYimeng
  3. import multiprocessing
  4. import gensim
  5. from gensim.test.utils import common_texts, get_tmpfile
  6. from gensim.models import word2vec,Word2Vec
  7. from gensim.models import KeyedVectors
  8. # import logging
  9. import os
  10. # logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
  11. sentences = word2vec.LineSentence('one.txt')
  12. model = Word2Vec(sentences,size = 256, min_count=1, window=5,sg=0,workers=multiprocessing.cpu_count())
  13. model.save("w2v_model1.bin")
  14. #model.wv.save_word2vec_format('w2v_model1.txt',binary = False)
  15. #模型储存与加载
  16. #计算一个词的最近似的词:
  17. gensim.models.Word2Vec.load("w2v_model1.bin")
  18. for key in model.similar_by_word('广告',topn=10):
  19. print(key)
  20. #计算两个词的相似度:
  21. p
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/468548
推荐阅读
相关标签
  

闽ICP备14008679号