当前位置:   article > 正文

python 文本生成实现_python给定几个目标单词,如何自动生成文本

python给定几个目标单词,如何自动生成文本

主要涉及到同义词替换+rnn神经网罗进行句子通顺性判别:

代码地址:

https://gitee.com/zhoubingbing/text_generation/tree/master

 

代码 第一部分:

        进行中文预料文集进行分词得到如下文本(空格或者\t分隔):

      例句  "我    爱    中国" 

     从中文语料库中进行1-gram 词汇集统计以及同义词表的统计:利用numpy 中的savez   load方法进行存储和下载(以字典的形式进行存储)

     

  1. def save_all_vocb():
  2. f = codecs.open('../sys_cilin/new_cilin.txt', 'r', "GBK")#同义词词表 生成我们的numpy字典
  3. lines = f.readlines()
  4. vacb = {}
  5. for line in lines:
  6. line = line.strip()
  7. keys = line.split(' ')[0]
  8. values = line.split(' ')[1:]
  9. vacb[keys] = values
  10. numpy.savez(PATH+'/vacb_all', dict=vacb)
  11. def load_cilin_all():
  12. arrays = numpy.load(PATH+'/vacb_all.npz')
  13. return arrays['dict'][()]

       进行我们的语言模型的1-gram 这里 我利用"我","爱" 进行统计我们这两个词在一起即“我爱”出现的频率 然后

 

 

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/397425
推荐阅读
相关标签
  

闽ICP备14008679号