赞
踩
多模态大语言模型(MLLMs)因其在视觉理解和推理方面的突出表现,例如生成详细的图像描述和回答复杂的问题等,逐渐成为近期AI研究的热点。
然而,Bunny 团队的最新研究发现,尽管许多MLLMs对视觉内容能够正确理解,但在面对误导性的问题时却容易给出错误答案,如图1所示。团队基于此揭示了一个隐藏现象:MLLMs 在视觉问答上的错误回答,不总是因为性能不足,还可能是由于对误导性问题缺乏鲁棒性。
图1 左图展示模型能够正确理解视觉内容,但对于误导性问题回答错误。右图展示现有的MLLMs在回答正向的问题和负向的误导性问题还存在一定的鸿沟。
为全面衡量 MLLMs 的理解能力及其在正确理解视觉内容后面对误导性问题时的表现,研究团队提出了多模态鲁棒性基准(MMR-benchmark)和针对鲁棒性的评价指标。同时为了提升 MLLMs 针对误导性问题的鲁棒性,研究团队精心设计了一个包含成对正向和负向视觉问答样本的训练集(MMR-data)。
实验结果表明,通过使用MMR-data,MLLMs 在应对负面问题时的鲁棒性得到显著提升。
为了实现全面的定量评估和分析,MMR-benchmark通过人工精心标注构建了 300 个正向问题和配对的 300 个带有误导性的负向问题,每个问题包含4个选项,且只有1个正确答案。正向问题用来评估模型正确理解视觉内容的能力,而负向问题则评估模型在面对误导性问题时的鲁棒性。
如图2所示,MMR-benchmark涵盖了字符、属性和语境3个不同粒度层级,包含了总共12个类别。
图2 MMR benchmark示例
字符级问题提示识别字符或数字等元素,而属性级问题则侧重于颜色、质地和数量等属性。语境层面的问题则涉及情感、文化和常识等更高层次的概念。例如,字符级的误导性问题会改变字符或数字等元素,属性级的问题会混淆属性,而情境级的提示则会引入复杂的概念,从而彻底测试模型对误导性信息的抵御能力。
我们全面地考虑了 4 种结果类型:
为量化MLLMs对负面问题的鲁棒性和实际理解能力,我们引入了“误导率(MR)”和“鲁棒性准确率(RA)”,误导率(MR)能够反映出模型面对误导性问题时的鲁棒性,鲁棒性准确率(RA)能够反映出模型在严格条件下答对问题的准确率。二者公式如下:
其中表示4种结果的样本数量。通过结合评估指标 MR 和 RA,我们的MMR 基准不但可以准确反映模型的基本理解能力,而且能够深刻揭示模型对具有误导性提示的问题的鲁棒性。
下表展示了 6 个闭源模型和 12 个主流开源MLLMs在 MMR 基准上的表现。结论如下:
为增强 MLLMs 的理解能力和鲁棒性,我们提出了一种数据构建方法,利用GPT-4V生成成对的正面和负面样本进行指导调优,如图2 所示。包括三个步骤:
图3 指令调优数据集构造过程。
通过使用构建的数据集进行实验,我们在MMR基准测试及其他通用基准测试中的结果如下表所示。实验结果表明,与使用同类数据训练相比,模型在使用构建的数据集训练时表现出更优越的性能。这表明,构造的数据集能够显著提升模型理解能力和在面对误导性问题时的鲁棒性。
在现有数据集的基础上,我们加入了一些其他对话数据,总共构建了649k的数据集,并使用不同的语言模型进行训练。通过与其他模型的对比实验,结果表明,所构建的数据集能够显著提升模型性能。具体实验结果如下表所示。
本研究深入探讨了多模态大语言模型(MLLMs)在准确解读视觉内容并应对负面问题时面临的挑战。我们发现,尽管MLLMs展示出对视觉内容细致的理解,但在面对负面问题时往往会出现不准确的答案。
为了量化评估MLLMs的表现,我们引入了MMR评估框架,旨在全面衡量其对视觉内容的理解和抗负面问题的鲁棒性。同时,我们提出了一种数据构建方法,并引入了高质量的微调数据,以提升MLLMs的鲁棒性和理解能力。
这项研究强调了改进评估方法和数据策略对于推动 MLLMs 在实际应用中性能提升的重要性。
论文地址:https://arxiv.org/abs/2406.10638
项目地址:https://github.com/BAAI-DCAI/Multimodal-Robustness-Benchmark
benchmark和数据集下载地址:https://huggingface.co/datasets/BAAI/Multimodal-Robustness-Benchmark
模型地址:
在线demo地址:http://mmr.dataoptim.org/
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。