关于负采样和下采样概念的简单说明_负采样与下采样的区别

作者：Gausst松鼠会 | 2024-04-01 13:51:30

踩

负采样与下采样的区别

负采样(Negative Sampling)

以word2vec中的负采样优化策略为例，即把语料中的一个词串的中心词替换为别的词，构造语料集中不存在的词串作为负样本。在这种策略下，优化目标变为了：较大化正样本的概率，同时最小化负样本的概率;

词汇表的大小决定了word2vec进行词向量训练时神经网络将会有一个非常大的权重参数，并且所有的权重参数会随着数十亿训练样本不断调整。negative sampling 每次让一个训练样本仅仅更新一小部分的权重参数，从而降低梯度下降过程中的计算量。

下采样(Down Sampling)

如CNN和DPCNN中的最大池化模块。本质上就是降低特征维度。

CNN:

DPCNN:

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/349064