论文阅读 - Toward Mitigating Misinformation and Social Media Manipulation in LLM Era

论文链接：  https://dl.acm.org/doi/pdf/10.1145/3589335.3641256

该Tutorial的PPT：（但是链接失效了，不知道过段时间是否正常）

International World Wide Web Conference 2024 ( WWW2024 | The Web Conf 2024 ) | Tutorials

目录

摘要

1 主题与动机

2 概述

2.1 引言：

2.2 大模型时代的误报检测

2.3 社交媒体上的操纵者检测

2.4 错误信息和社会操纵的因果模型

2.5 未来之路

3 对社会的意义

4 形式和详细时间表

5 支持材料

6 相关教程

7 其他细节

7.1 预期受众

7.2 简介

---

 

摘要

        在社交媒体上普遍存在的滥用错误信息影响公众舆论的现象在各个领域都变得越来越明显，其中包括政治领域（如总统选举）和医疗保健领域（尤其是在最近的 COVID-19 泛舆论事件中）。

        随着大型语言模型（LLM）的发展，操纵者可以更高效地生成极具说服力的欺骗性内容，这种威胁也变得越来越严重。

        此外，最近与 LLMs 集成的聊天机器人（如 ChatGPT）也取得了长足进步，能够创建类似人类的交互式社交机器人，这对人类用户和社交媒体平台的社交机器人检测系统都构成了巨大挑战。

        本教程介绍了有助于实现这一目标的高级机器学习研究，包括：（1）社交操纵者的检测；（2）学习错误信息和社交操纵的因果模型；（3）LLM 生成的错误信息检测。此外，作者还提出了未来可能的研究方向。

1 主题与动机

        近年来，社交媒体平台上的错误信息泛滥，尤其是在总统选举和全球大流行病等重大事件期间，已成为一个日益令人担忧的问题。例如，在 COVID-19 大流行期间，误导性信息的广泛传播淡化了疫情的严重性，夸大了 COVID-19 疫苗的副作用，对公众健康造成了不利影响，并削弱了人们对可信来源的信任[ 10 , 24 ]。

        此外，错误信息经常被用来操纵社会结果和公众舆论，严重损害了社交媒体平台内容的可信度[12, 34]。

        研究人员一直致力于打击社交媒体上的错误信息及其操纵行为 [ 2 , 13 , 18 , 32 , 33 , 38 ]。

        所提出的技术在一定程度上成功地解决了传统威胁，例如，社交机器人中包含了由人类编辑编造的预定义内容。

        然而，人工智能生成内容（AIGC）的快速发展打开了潘多拉魔盒。结合大型语言模型（LLM）和上下文学习，

误导信息活动的操纵者正在带来更严重的威胁：

        互动性更强的社交机器人。通过制作适当的提示，操纵者可以让他们的社交机器人自主地与其他账户互动。这种交互式社交机器人比传统的机器人更难被发现，因为传统的机器人只是按照预定义的脚本进行操作[3, 11, 40]。

        更具欺骗性的虚假信息内容。操纵者可以利用 LLM 的广泛功能来模仿各种语言风格，使其误导信息对特定人群或公众更有说服力。此外，他们还可以利用 LLM 制作虚假参考文献和证据的倾向，进一步扩大欺骗性[7]。

        生成错误信息的效率更高。研究表明，大型模型可以高效地生成错误信息。例如，给定一段错误信息文本，预先训练好的多模态模型可以轻松生成经过处理的图像（如《DALL-E》）或检索原始图像（如《CLIP》），以构建断章取义的媒体（即图像和文本都未被修改但不一致，从而支持特定的叙述）。事实证明，传统的错误信息检测模型很难识别。

        本教程旨在介绍以下研究方向的历史和最新进展，这些方向可能有助于应对上述威胁：

         - 大模型时代的错误信息检测。该方向的重点是应用大型模型检测错误信息，包括传统的人为伪造新闻和由大型网络模型生成的现代错误信息，如篡改文本、伪造或断章取义的多模态媒体。

        - 社交媒体上的操纵者检测： 它旨在通过识别活动模式和收集异常协调行为，检测社交媒体上的操纵者（如社交机器人和协调账户）。

        - 了解错误信息的因果效应： 其目的是估计错误信息对个人或社交媒体用户群体的影响。最近的研究表明，它在识别和保护易受误导信息影响的用户方面具有潜力。

2 概述

        建议书包括以下各节：

2.1 引言：

        崛起的新挑战 本节将首先简要介绍错误信息和社交媒体操纵的科学定义。

        本节将介绍在社交媒体上发现的现有操纵案例。

        此外，本节还将讨论 LLM 的进步带来的以下新挑战，包括 ：

                - 检测由 LLM 驱动的社交机器人的困难

                - 高质量的欺骗性错误信息语料库

                - 人工智能生成的多模态媒体的普及

从这一部分开始，受众将对本教程涉及的动机和概念有一个基本的了解，例如错误信息活动。

2.2 大模型时代的误报检测

        大语言模型的兴起是打击误报的一把双刃剑。

        一方面，大语言模型极大地便利了高欺骗性错误信息的制造。例如，它们可以模拟主流媒体的语言风格来起草假新闻，然后生成伪造的图片或检索真实但断章取义的内容，以支持特定的叙述。

        另一方面，LLM 在处理文本以及其他模式输入（如图像、图表和表格数据 [ 16 , 23 , 37]）方面的先进能力也有利于自动事实验证。

本节将介绍以下方面的最新进展：

        人工智能生成的错误信息： 被操纵的内容和断章取义的内容[17, 19, 25]

        利用大型语言模型进行单模态事实验证[5, 9, 36]

        利用大型模型进行多模态事实验证[ 1, 17 , 31, 46]

2.3 社交媒体上的操纵者检测

        社交操纵账户（如社交机器人）越来越多地被误传活动滥用，以传播特定叙事并操纵公众舆论[ 35 ]。

        使用高级 LLM（如 ChatGPT）的社交机器人很容易表现出类似人类的交互能力，从而避免被自动识别算法检测到。

        本节将介绍检测社交操纵的解决方案，包括基于个人行为（如语言线索、IP 地址、关注列表）和协调活动（如具有异常相关活动的账户组）的检测。

        本节进一步分为以下几个部分：

         - 社交媒体上的操纵者[13, 30]

        - 单个社交机器人的数据驱动检测[ 20 , 29 , 39, 41]

        - 协调操纵者活动的数据驱动检测[24, 34, 44, 45]

2.4 错误信息和社会操纵的因果模型

        设计和选择适当的缓解策略需要对不同可能的干预结果进行精确的估计和预测。

        这一要求自然而然地促使构建因果模型，以描述干预和混杂因素如何共同影响社交媒体上的最终结果（如用户行为）。通过建立参数无偏的因果模型，可以找出影响用户易受误导和社会操纵的因果因素，进而在设计缓解策略和文件澄清时采取相应的有效干预措施。

        具体而言，本节将介绍有关误导信息和社会操纵的因果模型的以下进展：

        - 因果推理的一般介绍

        - 对用户行为的因果理解[6, 43]

        - 对误导宣传行为的因果理解[4, 28]

2.5 未来之路

        将讨论减少误导和社交媒体操纵的潜在方向，例如基于强化学习的澄清推荐和个性化澄清起草。

3 对社会的意义

        社会操纵和虚假信息的兴起正日益损害网络资源和信息的可信度。为了更有效地应对这一威胁，迫切需要结合人工智能先进技术的算法工具，如自然语言处理、因果推理和异常检测等。本教程旨在向社交媒体分析研究人员介绍必要的先进工具。

        第一部分将帮助新研究人员建立对目标问题的基本理解，以及相关机器学习作品中的一些必要概念。其余部分将详细介绍高级模型。

4 形式和详细时间表

        本教程为讲座式教程。具体时间安排如下：

         - 教程大纲 - 简介（30 分钟）

         - 大模型时代的错误信息检测（55 分钟） ∗ 人工智能操纵的错误信息 ∗ 利用 LLM 进行单模态错误信息检测 ∗ 利用 LLM 进行多模态错误信息检测

         - 操纵者检测（45 分钟） ∗ 社交网络上操纵者的操纵活动

        误导信息的因果模型（40 分钟） ∗ 因果推理的一般介绍 ∗ 对正常用户参与误导信息的因果理解 ∗ 对操纵者行为的因果理解

        - 未来之路（10 分钟）

5 支持材料

        将在会后分享幻灯片和教程录音。还将提供本教程所涉及论文的参考文献。此外，还在 Github 上开源了教程中涉及的工作代码，包括在错误信息的协调检测和因果分析方面的工作。

6 相关教程

        本教程没有以前的版本。这是首次总结高级机器学习作品，这些作品将有助于应对 LLM 时代社交媒体操纵和错误信息的威胁。

        除了作者的教程，其他组织也在 "LLM 兴起 "之前举办了一些相关教程。

        Zafarani 等人在 WSDM 2019 和 SIGKDD 2019 上举办了教程，讨论假新闻检测的高级技术 [ 42 , 47 ]。

        Nakov 等人在 EMNLP 2020 和 WSDM 2023 上举办教程，介绍事实检查和立场检测技术 [ 26, 27 ]。

        Fung 等人在 SIGKDD 2022 上主持了一个教程，讨论打击错误信息的自然语言处理工具 [ 14 ]。

        Derczynski 介绍了开发假新闻检测器和数据收集所涉及的整个流水线技术[8]。

        Giachanou 等人在 CIKM 2020 上举办了一个教程，讨论假新闻和仇恨言论的检测和缓解[ 15 ]。

        Lakshmanan 等人在 VLDB 2019 上向数据库界介绍了错误信息检测与缓解[ 21 ]。

        上述教程主要针对假新闻内容。与作者的教程相比，他们没有涉及协调检测和因果推理。

        Lee 等人在 WWW 2014（现已更名为 TheWebConference）上主持了一个关于虚假信息活动和恶意账号的教程[22 ]。不过，由于是2014年举办的，教程中介绍的大部分高级技术都没有涉及。

7 其他细节

7.1 预期受众

        本教程面向对社交媒体分析感兴趣的研究人员。它介绍了打击错误信息和社交媒体操纵的高级机器学习工具。这些工具有助于分析来自社交媒体的数据。

        本教程的介绍部分面向这一领域的新手。希望受众具备有关假新闻检测和机器学习的入门知识。

        在其余三部分中，作者将对所涉及的高级概念进行必要的解释，不要求受众在这些主题方面有经验。

7.2 简介

        张一舟是南加州大学的博士生。他的研究兴趣主要集中在机器学习及其在社交网络和社交媒体中的应用。他曾在 TheWebConf、NeurIPS、KDD、ICWSM、IJCAI、ICDM 等顶级会议上发表论文。

        杜伦，Coupang 公司研究员。他的研究兴趣包括大型语言模型、图模型及其在数据挖掘中的应用。他在 TheWebConf、NeurIPS、ICLR、KDD、ICSE、ACL、WSDM 等顶级会议和期刊上发表了 50 多篇论文，并获得了 CIKM'19 最佳论文亚军奖和 CIKM'21 最佳短篇论文奖。

        Karishma Sharma 是亚马逊的一名应用科学家。她在南加州大学获得博士学位。她的研究兴趣包括机器学习和网络分析。她曾在 TheWebConf、NeurIPS、KDD、ICWSM 等顶级会议和期刊上发表论文。

        Yan Liu 是南加州大学计算机科学系教授和机器学习中心主任。她在卡内基梅隆大学获得博士学位。她的研究兴趣是机器学习及其在社会网络分析、医疗保健和可持续发展中的应用。她曾获得多个奖项，包括国家自然科学基金会 CAREER 奖、大川财团研究奖、科学、工程和医学院新声音奖等。她担任 KDD 2022、ICLR 2022、SDM 2020、WSDM 2018 的项目联合主席，以及 AAAI 2021 的项目联合副主席。她曾在 WSDM、ICML、AAAI、IJCAI、KDD、CIKM 等机器学习和应用领域的顶级会议上做过讲座，并在 NeurIPS、ICML、KDD、IJCAI、AAAI 等会议的各种研讨会上做过特邀演讲。