当前位置:   article > 正文

多模态数据融合

多模态数据融合

1.多模态数据含义
狭义:多媒体数据,如文本,音频,视频
广义:对原始数据集采用不同的特征提取方法得到的不同特征组合

2.数据融合
整合从多模态数据中得到的补充信息,以提升模型分类性能,被视为多模态机器学习方面的五大核心技术挑战之一

  • fusion,
  • representation,
  • translation,
  • alignment,
  • co-learning

3.数据融合:分类一

  1. 模内融合
    多核学习,两个子模型:
    MLP(multilayer perceptron)多层感知器、attention注意力机制。

  2. 模间融合
    三种融合策略

策略 含义
早期融合 特征层面
晚期融合 决策层面
基于模型的融合 模型优化过程中

4.数据融合:分类二

  1. 传统融合:在一个低纬度的原始空间进行融合,融合得到的特征表征能力弱。大多注重模间融合,忽视模内融合。
    缺点:忽视了特征间的关联信息、忽视了高阶信息<

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/凡人多烦事01/article/detail/642506
推荐阅读
相关标签
  

闽ICP备14008679号