跨模态检索研究文献综述（二）_跨模态 文献综述

随着互联网技术的蓬勃发展和智能设备的普及，多媒体数据在数量爆炸式增长的同时，其形态也越来越多样化。人们获取信息的需求已经不满足于单一模态的数据检索，通过不同模态的知识协同实现跨模态的检索成为近几年研究的热点。

在深入了解分析跨模态检索研究背景和研究进展的基础上，以跨模态检索的关键技术——公共子空间建模为主线，对跨模态检索技术的三大类方法传统统计分析方法、深度学习方法与哈希学习方法，从不同角度对研究内容、关键技术、局限性、适用性和特点等方面进行了全方位、多角度的对比分析，并进行了实验以更深入地对比。

最后，对跨模态检索有待解决的难点、未来的探索方向、近些年主流设计思路以及发展趋势进行了充分展望，为进一步研究提供理论基础。

一、概述

近年来，随着互联网的蓬勃发展、智能设备与社交网络的普及，多媒体数据在互联网上爆炸式地增长。这些海量的数据包括文本、图像、视频及音频等各种模态形式，同一事物会有多种不同模态数据的描述。这些数据在形式上“异构多源”，而在语义上相互关联。

1、问题定义

二、基于传统统计分析的技术

1、无监督学习

2、监督学习

3、半监督学习

三、基于深度学习的技术

1、玻尔兹曼机

2、自编码器

3、卷积神经网络

4、循环神经网络

5、生成对抗网络

四、基于哈希学习的技术

1、基于手工特征的哈希学习

2、基于深度学习的哈希学习

五、验证与对比分析

1、数据集准备

2、实验过程

3、实验结果

4、对比分析

六、展望

---

---

---

参考资料：
跨模态检索研究文献综述,计算机科学与探索,1673-9418/2021/15(08)-1390-15