赞
踩
非核心
原文链接:基于深度学习的多模态情感分析研究综述 - 中国知网 (cnki.net)
深度学习完成多模态情感分析综述。主要介绍多模态情感分析的概念、背景、意义。总结了多模态融合技术和交互技术,讨论多模态情感分析未来发展。
目前经典的多模态情感分析研究已经成熟,在判断多模态间语义相关性以及多模态数据不对齐导致的无法有效融合的研究也在不断深入。随着NLP和AI相关技术的不断进步,深度学习应用到多模态情感分析中更受研究者欢迎。因此,深度学习相关技术将成为多模态情感分析研究的重要方向。
也被称作观点挖掘opinion mining,是分析人们对产品、事实等实体对象持有的个人观点及主观感受。利用自然语言处理NLP技术记忆机器学习、深度学习等方法对带有感情色彩的数据进行情感倾向分析与判断。
是指将两种或两种以上模态的信息结合到一起进行情感倾向的预测。各模态通过深度学习等方法对各个模态的特征进行提取,再进行有效融合,从而更加全面、直观地关注多个模态的情感信息,更加精准地进行情感倾向预测。
目前多模态情感分析主要体现为两种方式,分别是叙述式多模态情感分析和交互式多模态情感分析。
叙述式:对用户在社交平台上发布的多模态博文进行分析,如微博、YouTube等平台,这些博文大多是作者就某事件主观表达个人看法,目的是表达作者本身的观点态度,这些博文因为很少涉及多人看法,所以比较稳定。
交互式:指的是即时通讯,涉及多人多角度表达多种感情,如通过QQ、微信等聊天平台进行交流的内容,以及通过天猫精灵、小爱同学等进行互动交流的内容,这些内容由于每个谈话者所占角度不同表达情感也不同,所以不够稳定,有着不确定的变化。
优点:
由于研究方向所以只关注图文多模态情感分析,文章还详细介绍了基于视频的多模态,一般包括语音、图像以及文本模态。
图文多模态情感分析数据集一般来自用户发表的博文,其中包括很多的隐藏信息缺乏突出的情感词。因此,情感不光只有positive和negative,还有许多其他隐藏的情绪。
Multimodal Sentiment Analysis To Explore the Structure of Emotions
Context-aware social media user sentiment analysis
之前的方法忽略博文中包含表情符号等隐藏信息,导致分析不准确。
根据现实需求,股票预测以及商品推荐都依赖情感分析做出决策,那么大规模数据更加有助于提取用户的真实情感信息。(说白了就是增大样本,去训练模型)
Cross-modality consistent regression for joint visual-textual sentiment analysis of social multimedia
Robust visual-textual sentiment analysis: When attention meets tree-structured recursive neural networks
注意力机制在多模态情感分析中发挥了重要的作用
Multi-level multiple attentions for contextual multimodal sentiment analysis
Multimodal sentiment analysis with word-level fusion and reinforcement learning
Image-text sentiment analysis via deep multimodal attentive fusion
多模态情感分析和单模态情感分析一样都需要进行特征提取,而后进行情感极性的判断。然而最大的区别在于多模态需要对各个模态的特征进行有效融合。因此,多模态融合是多模态研究的关键之处。现阶段包括三种多模态融合技术,分别是特征级融合、决策级融合以及混合融合。
多模态情感分析中,由于各模态之间交互存在间接性与不稳定性。因此,精准且全面地建立多模态交互的模型就存在一定难度。另外,传统的交互建模在多模态情感分析领域还存在一定的局限性。因此,从不同层面出发主要分为两种交互问题
进行文本情感分析时,上下文语义联系是影响分析结果的关键因素。为了考虑相关语义信息以及一词多义问题,研究者们早期通过one-hot编码、词袋模型、神经网络模型、BERT模型、图神经网络模型考虑上下文语义信息,在文本情感分析任务中取得了较好的效果。
特征级融合又被称为早期融合,是指各个模态进行特征提取之后将这些特征立即融合到一起,属于简单的链接各模态特征,重点在于各个模态间的连接。
这种融合方式很好地把握了多模态特征之间的相关性,但是当各模态的特征来自不同语义空间时,由于存在差异较大不能直接合并。
是指将不同模态特征映射到一个共空间中完成特征融合,因为不同模态的特征具有不同空间,从而导致多模态数据不对齐。
研究者们通过引入注意力机制的特征融合、特征连接、共享隐层深度网络模型、张量融合等方法将特征映射至同一个共空间中使各模态数据对齐。
又被称为后期融合,是指将各个模态的特征进行独立分析,得到局部决策结果,之后将分析结果融合成决策向量,得到最终的决策结果。
将不同模态特征通过决策分析后联合。在联合过程中,容易忽略事件发生顺序不同导致的各模态信息相互干渉的问题。
针对这一问题,研究者们通过最大投票法、经典概率法等方法使每个事件地位相同,从而无需考虑事件发生的先后顺序,也不会影响分析结果。
是特征级融合和决策级融合方法的结合。
不进行过多研究。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。