devbox
不正经
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Word2vec原理及参数详解_word2vec原理以及参数详解

作者：不正经 | 2024-03-31 09:39:26

赞

踩

word2vec原理以及参数详解

目录

一、原理介绍

1、CBOW

2、Skip-gram

3、目的

二、参数详解及实战

1、导包

2、数据读取+预处理

 3、导入英文停用词

4、文本预处理

5、划分训练、测试集

6、word2vec参数详解及训练

三、划重点

少走10年弯路

一、原理介绍

        Word2Vec有两种主要的模型架构：连续词袋模型（Continuous Bag of Words，简称CBOW）和跳字模型（Skip-gram）。训练Word2Vec的核心目标是通过调整单词向量的权重，使得模型能够最小化实际上下文单词的预测误差。通过多次迭代，模型将学习到单词向量，这些向量在向量空间中能够捕获单词之间的语义关系，使得具有相似语义的单词在向量空间中距离较近。

1、CBOW

         在CBOW模型中，给定上下文单词，目标是预测中心单词。例如，对于句子 "Thou shalt not make a machine in the likeness of a human mind"，如果我们将上下文大小设置为1，那么对于中心单词 "machine"，上下文单词可以是 ["a", "in"]。

结合上图，CBOW训练过程如下：

        ① 输入层（Input layer）：目标单词上下文的单词，每个单词用ont-hot编码表示，为[1 * V]大小的矩阵，V表示词汇大小；

         ② 所有的ont-hot矩阵乘以输入权重矩阵W，W是[V * N]大小的共享矩阵，N是指输出的词的向量维数；

        ③ 将相乘得到的向量 （[1 * V] 的ont-hot矩阵乘上[V * N]的共享矩阵W） 相加，然后求平均作为隐层向量h， 大小为[1 * N]；

        ④ 将隐层向量h乘以输出权重矩阵W'，W'是[N * V]大小的共享矩阵；

        ⑤ 相乘得到向量y，大小为[1 * V]，然后利用softmax激活函数处理向量y，得到V-dim概率分布；

        ⑥ 由于输入的是ont-hot编码，即每个维度都代表着一个单词，那么V-dim概率分布中，概率最大的index所指代的那个单词为预测出的中间词。

        ⑦ 将结果与真实标签的ont-hot做比较，误差越小越好，这里的误差函数，即loss function一般选交叉熵代价函数。

        以上为CBOW生成词向量的全过程。如果我们只是想提取每个单词的向量，那么只需要得到向量y就可以了，但训练过程中要去做预测并计算误差，去求得输入权重矩阵W和输出权重矩阵W'。

2、Skip-gram

        在Skip-gram模型中，目标是给定中心单词，预测其周围的上下文单词。

        如上图所示，Skip-gram和CBOW模型的训练区别主要在输入层和隐层，Skip-gram输入层仅中心词的one-hot向量、隐藏层也就不需要再进行平均操作。

过程如下：

        ① 输入层（Input layer）：将中心单词用ont-hot编码表示，为[1 * V]大小的矩阵

        ② 中心词ont-hot向量乘以输入权重矩阵W得到大小为[1 * N]的隐藏层向量h，W是[V * N]大小的共享矩阵，N是指输出的词的向量维数；

之后就和CBOW一致了

        ③ 将隐层向量h乘以输出权重矩阵W'，W'是[N * V]大小的共享矩阵；

        ④相乘得到向量y，大小为[1 * V]，然后利用softmax激活函数处理向量y，得到V-dim概率分布；

        ⑤由于输入的是ont-hot编码，即每个维度都代表着一个单词，那么V-dim概率分布中，概率最大的index所指代的那个单词为预测出的上下文单词。

        ⑥ 将结果与真实标签的ont-hot做比较，误差越小越好，这里的误差函数，即loss function一般选交叉熵代价函数。

3、目的

        word2vec的目的并不在于预测上下文的语言模型，而是在于训练得到中间结果输入层到隐藏层之间的权重矩阵W、即Embedding矩阵，即词向量矩阵。把每个词使用向量形式表示之后，在文本任务中就可以继续进行文本分类、文本相似度、推荐等等下游任务。

二、参数详解及实战

1、导包

  1. import re
  2. import os
  3. from sqlalchemy import create_engine
  4. import pandas as pd
  5. import numpy as np
  6. import warnings
  7. warnings.filterwarnings('ignore')
  8. import sklearn
  9. from sklearn.model_selection import train_test_split
  10. from sklearn.metrics import roc_curve,roc_auc_score
  11. import xgboost as xgb
  12. from xgboost.sklearn import XGBClassifier
  13. import lightgbm as lgb
  14. import matplotlib.pyplot as plt
  15. import gc
  16.  
  17. from tensorflow.keras.preprocessing.text import Tokenizer
  18. from tensorflow.keras import models
  19. from tensorflow.keras import layers
  20. from tensorflow.keras import optimizers

2、数据读取+预处理

  1. data=pd.read_excel('Inshorts Cleaned Data.xlsx')
  2.  
  3. def data_preprocess(data):
  4.     df=data.drop(['Publish Date','Time ','Headline'],axis=1).copy()
  5.     df.rename(columns={'Source ':'Source'},inplace=True)
  6.     df=df[df.Source.isin(['YouTube','India Today'])].reset_index(drop=True)
  7.     df['y']=np.where(df.Source=='YouTube',1,0)
  8.     df=df.drop(['Source'],axis=1)
  9.     return df
  10.  
  11. df=data.pipe(data_preprocess)
  12. print(df.shape)
  13. df.head()

 3、导入英文停用词

        从nltk包倒入停用词

  1. from nltk.corpus import stopwords  
  2. from nltk.tokenize import sent_tokenize
  3. stop_english=stopwords.words('english')  
  4. stop_spanish=stopwords.words('spanish') 
  5. stop_english

4、文本预处理

        处理简写、小写化、去除停用词、词性还原

  1. from nltk.stem import WordNetLemmatizer
  2. from nltk.corpus import stopwords  
  3. from nltk.tokenize import sent_tokenize
  4. import nltk
  5.  
  6. def replace_abbreviation(text):
  7.     
  8.     rep_list=[
  9.         ("it's", "it is"),
  10.         ("i'm", "i am"),
  11.         ("he's", "he is"),
  12.         ("she's", "she is"),
  13.         ("we're", "we are"),
  14.         ("they're", "they are"),
  15.         ("you're", "you are"),
  16.         ("that's", "that is"),
  17.         ("this's", "this is"),
  18.         ("can't", "can not"),
  19.         ("don't", "do not"),
  20.         ("doesn't", "does not"),
  21.         ("we've", "we have"),
  22.         ("i've", " i have"),
  23.         ("isn't", "is not"),
  24.         ("won't", "will not"),
  25.         ("hasn't", "has not"),
  26.         ("wasn't", "was not"),
  27.         ("weren't", "were not"),
  28.         ("let's", "let us"),
  29.         ("didn't", "did not"),
  30.         ("hadn't", "had not"),
  31.         ("waht's", "what is"),
  32.         ("couldn't", "could not"),
  33.         ("you'll", "you will"),
  34.         ("i'll", "i will"),
  35.         ("you've", "you have")
  36.     ]
  37.     result = text.lower()
  38.     for word_replace in rep_list:
  39.         result=result.replace(word_replace[0],word_replace[1])
  40. #     result = result.replace("'s", "")
  41.     
  42.     return result
  43.  
  44. def drop_char(text):
  45.     result=text.lower()
  46.     result=re.sub('[^\w\s]',' ',result) # 去掉标点符号、特殊字符
  47.     result=re.sub('\s+',' ',result) # 多空格处理为单空格
  48.     return result
  49.  
  50. def stemed_words(text,stop_words,lemma):
  51.     
  52.     word_list = [lemma.lemmatize(word, pos='v') for word in text.split() if word not in stop_words]
  53.     result=" ".join(word_list)
  54.     return result
  55.  
  56. def text_preprocess(text_seq):
  57.     stop_words = stopwords.words("english")
  58.     lemma = WordNetLemmatizer()
  59.     
  60.     result=[]
  61.     for text in text_seq:
  62.         if pd.isnull(text):
  63.             result.append(None)
  64.             continue
  65.         text=replace_abbreviation(text)
  66.         text=drop_char(text)
  67.         text=stemed_words(text,stop_words,lemma)
  68.         result.append(text)
  69.     return result
  70.  
  71. df['short']=text_preprocess(df.Short)
  72. df[['Short','short']]

5、划分训练、测试集

  1. test_index=list(df.sample(2000).index)
  2. df['label']=np.where(df.index.isin(test_index),'test','train')
  3. df['label'].value_counts()

6、word2vec参数详解及训练

  1. import gensim
  2. def word2vec_train(sentences):
  3.     # 训练词向量矩阵用于embedding权重时，max_vocab_size设置为None
  4.     '''
  5.         sentences为分词、去停用词、去符号回车等的结果、单层列表
  6.         如：["only", "you", "can", "prevent", "forest", "fires"]
  7.     '''
  8.     params={
  9.         'sg':1, # 1对应skip-gram,0对应CBOW
  10.         'cbow_mean':1, # CBOW时使用，1计算向量均值、0计算向量和
  11.         'min_count':1, # 最低词频阈值，低于min_count的词过滤掉
  12.         'vector_size':128, # 词向量维度，取值几十到几百
  13.         'window':5, # 滑动窗口,当前词与上下文词最远距离
  14.         'workers':1, # 计算使用线程数
  15.         'hs':1, # 设置1，将使用分层softmax进行模型训练；设置0且“negative”为非零，则将使用负采样
  16.         'negative':3, # 负样本采样数量
  17.         'seed':1,
  18.         'max_vocab_size':None, # 词典最大词汇量
  19.         'shrink_windows':False, # 设置True时，对每个目标词，从[1,windows]范围进行均匀采样、以确定每个词的实际窗口大小
  20.         'ns_exponent':1,
  21.         'sample':0.001, # 高频字随机降采样的阈值
  22.         'epochs':5, # 语料上的迭代次数
  23.         'alpha':0.025, # learning rate
  24.         'corpus_file':None, # 指定sentences文档路径，与sentences仅传一个就好
  25.     }
  26.     model = gensim.models.word2vec.Word2Vec(sentences=sentences, **params)
  27.     
  28.     return model
  29.  
  30. word2vec_model=word2vec_train(list(df.short.str.split()))
  31. vec_king = word2vec_model.wv['king']
  32. vec_king

三、划重点

少走10年弯路

        关注威信公众号Python风控模型与数据分析，回复 word2vec 获取本篇数据及代码

        还有更多理论、代码分享等你来拿

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/344146
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号