图像情感识别研究方向_图片情感分类

图片情感识别/分类/分析 概述

1.情感分类

当前情感分类上，主要把情感分为两类或者八类：

2.图像情感分类方法

图像情感分类方法从特征角度来看，主要可以划分为三个方向，即：基于低端视觉特征的图像情感分类方法、基于语义特征的图像情感分类方法以及基于深度学习的图像情感分类方法。

2.1基于低端视觉特征的图像情感分类

基于低端视觉特征的图像情感分类方法，主要试图使用基础的人工特征来对图像进行情感分类。Ｗａｎｇ（２００６）通过结合色彩心理学的研究，建立了三个基于亮度、色彩饱和度、色调冷暖等的直方图，并通过支持向量回归的方法，研宄了其与情感之间的联系。Ｙａｒｍｌｅｖｓｋａｙａ（２００８）对图像抽取Ｗｉｃｃｅｓｔ特征跟Ｇａｂｏｒ特征，然后通过支持向量机对图像进行分类。Ｍａｃｈａｊｄｉｋ（２０１０）系统地从艺术跟心理学的角度，研究了图像情感与低端特征，例如颜色、纹理、线条组成、图像内容之间的联系。与之前的研究不同，Ｌｕ（２０１２）深入研宄了形状特征，诸如直线特征、曲线特征等对图像情感分类的影响。Ｗａｎｇ（２０１３）从美学角度提取图像的情感特征，但是与之前的工作不同，其更强调特征的可解释性，所有的特征都需要能解释出其与不同情感之间的关系。Ｚｈａｏ（２０１４）主要探讨了如何通过艺术规则，比如说对称性、轮廓、和谐性等特征，对图像情感加以分类。

2.2基于语义特征的图像情感分类

基于语义特征的图像情感分类方法，主要试图建立图像情感与诸如物体、场景等语义之间的联系。Ｂｏｒｔｈ（２０１３）筛选了１２００个形容词名词对，例如美丽的花、可爱的狗等，然后针对这１２００个概念，在传统低端特征的基础上建立了一个分类器，因而可以用图像对这１２００不同概念的响应，生成一个１２００维的情感特征向量，进行图像情感分类。与此同时，Ｙｕａｎ（２０１３）则是建立一个关于１０２个场景的分类器，其将图像对１０２个场景的响应结合人脸特征，作为情感特征，从而进行情感分类。

2.3基于深度学习的图像情感分类

基于深度学习的图像情感分类方法，主要试图通过深度学习的方法，让网络自动学习对情感分类最有帮助的特征，其特征是通过学习而来，而非人工设计。Ｙｏｕ（２０１５）设计了一个深度卷积神经网络进行图像情感分类，并且利用反馈的机制，滤除训练集中标注错误的数据，进一步提升了图像情感分类能力。Ｗａｎｇ（２０１６）通过两路网络分别学习形容词性质的描述性词语以及名词性质的物体词语的特征表示，最终将两路特征结合起来用于图像情感分类。

基于深度学习的图像情感分类方法，己经证明了其在图像情感分类上的独特优势，但是仍然有很多方向等待探索。首先，深度网络往往可以提供更具表达力的特征，那实际应用中，应该如何使用深度语义特征进行图像情感分类？此外，不同深度语义特征应该如何融合，以期进一步提升表达效果？这些都是有待进一步探究的问题。其次，虽然深度网络，可以自动学习到对情感分类最好的特征，但是其与传统方法一致，直接从整个图像上提取特征，即将一整幅图像用一个固定维度的向量进行表示，而没有去强调不同图像区域对最终情感分类的不同贡献，通过之前的难点分析可以看出，这也是当前急需解决的问题之一。

3.情感图像检索

情感图像检索主要以图像检索为基础。按照侧重点的不同，主要可以将其划分为两类，即基于特征表示的图像检索方法以及基于哈希的图像检索方法。基于特征表示的图像检索方法，按照特征抽取方式的不同又可以将其划分为两大类，即基于人工特征的图像检索方法以及基于深度特征的图像检索方法。

3.1基于人工特征的图像检索方法

基于人工特征的图像检索方法主要试图借助相关知识来人工设计特征，以期建立最基础的图像像素与高级语义之间的联系。在过去的几十年中，大量的全局特征以及局部特征被设计提出，用于一系列计算机视觉相关的任务之中（Ｌｏｗｅｅｔａｌ，１９９９：Ｙａｎｇｅｔａｌ，２００７；Ｗｕｅｔａｌ，２０１１）。当然，其中也包括图像检索领域。Ｊａｉｎ（１９９６）尝试使用颜色与边缘特征，进行图像检索。Ｍａｎｊｕｎａｔｈ（１９９６）则尝试建立纹理特征与图像检索之间的联系。Ｏｌｉｖａ（２００１）提出ＧＩＳＴ特征描述子，并用其抽取图像特征，然后用于图像检索之中。之后，Ｗｕ（２０１１）设计了ＣＥＮ-ＴＲＩＳＴ＇特征，并将其应用于场景图像检索之中。所有上述提及的方法，都是基于全局特征的图像检索方法，下面来介绍几种基于局部特征的图像检索方法。ＳＩＦＴ和ＳＵＲＦ是常见的图像局部特征描述子（Ｌｏｗｅ ｅｔａｌ，１９９９；Ｂａｙｅｔａｌ，２００６），Ｗｕ（２０１１）在这些局部特征的基础上，通过词袋模型对局部特征描述子进行量化，生成图像最终的特征表示，从而再将其应用到图像检索之中。Ｙｕ（２０１３）与Ｗｕ（２０１１）的工作类似，也是将词袋模型与局部特征描述子相结合，用于图像检索。所有上述工作，都推动了图像检索的早期研宄。

3.2基于深度特征的图像检索方法

基于深度特征的图像检索方法，主要在特征的抽取上，用深度网络某一层的输出作为最终的特征表示。通常而言，对于图像以及视频等相关问题，研究人员更多利用卷积神经网络，获取最终的图像特征表示。Ｄｏｎａｈｕｅ（２０１４）首先验证了以深度卷积神经网络中全连接层输出作为特征在众多计算机视觉相关问题中的普适性。Ｗａｎ（２０１４）则证实了深度卷积神经网络中全连接层深度特征在图像检索领域的突出表现。Ｂａｂｅｎｋｏ（２０１５）在深度卷积神经网络中卷积层特征的基础上，通过求和池化的方式，获取最终的特征表达，然后将其用于图像检索中。此外，Ｇｏｒｄｏ（２０１６）通过合并众多不同候选区域的卷积层特征描述子，最终得到固定维度的图像特征表示用于图像检索之中。

4.常用数据集

1. IASP (International Affective Picture System)
2. IASPa
3. Abstract
4. GAPED (Geneva Affective Picture Database)
5. MART
6. devArt
7. Tweet
8. FlickrCC (Flickr creative common)
9. Flickr
10. Emotion6
11. FI (Flicker and Instagram)
12. Emotion6
13. IESN
14. FlickrLDL
15. TwitterLDL