当前位置:   article > 正文

小样本中的图神经网络_图神经网络 小样本

图神经网络 小样本

FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS

  1. 初始化节点特征
将图片的视觉特征与类别标签拼接,对于查询集,类别标签初始化为零
  1. 使用领接矩阵,建立节点联系
  1. 完成GNN传递
    在这里插入图片描述
  2. 图传递完成后,使用Prototypical Networks完成分类

Residual Graph Convolutional Networks for Zero-Shot Learning

解决问题:Graph的over-smoothing与overfitting问题;
解决方式:将Graph扩展为有残差连接的Residual Graph
如何解决zero-shot分类问题:参数预测,半监督
在这里插入图片描述

  1. 将所有类别的语义词向量输入网络中

  2. 使用K最近临算法将构造语义词向量的连接,也就是图的邻接矩阵

  3. 使用具有残差连接的图卷积网络卷它
    在这里插入图片描述
    在这里插入图片描述

  4. 计算可见类的权重预测损失,其中M为可见类的类别数, f j f_j fj是在Resnet上训练得到的可见类分类权重, f ~ j \tilde{f}_j f~j是可见类预测分类权重,所以算法应该算是一个半监督算法
    在这里插入图片描述

Zero-Shot Sketch-Based Image Retrieval via Graph Convolution Network

解决问题:给定unseen-category的素描,要搜索出正确的图片

在这里插入图片描述

  1. Encoding Network使用权重不共享的ResNet50提取图片与素描的特征
  2. Semantic Preserving Network将图像与素描的特征拼接,得到节点的特征
  3. 构建节点间的邻接矩阵
    (1)计算两节点语义词向量的距离:在这里插入图片描述
    (2)将第一步中得到的语义距离,与视觉特征距离的绝对差进行拼接,外接一个MLP
    在这里插入图片描述
    (3)计算两节点的连接权重,其中t为正则项
    在这里插入图片描述
  4. Semantic Reconstruction Network使用VAE生成对应的词向量,计算损失(为防止网络记住有限的词向量,所以采用正态分布生成)

损失函数:feature相似损失+分类损失+semantic回归损失+VAE中的KL损失在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/764623
推荐阅读
相关标签
  

闽ICP备14008679号