人工智能安全研究_拜占庭攻击

2.6 ChatGPT内部执行

        TAMER（Training an Agent Manually via Evaluative Reinforcement，评估式强化人工训练代理）框架。该框架将人类标记者引入到Agents的学习循环中，通过人类向Agents提供奖励反馈（即指导Agents进行训练），从而快速达到训练任务目标。

2.7 Transformer

        Transformer 模型的核心思想是自注意力机制（self attention）——能注意输入序列的不同位置以计算该序列的表示的能力。Transformer 创建了多层自注意力层（self attetion layers）组成的堆栈， 一个transformer 模型用自注意力层而非RNNs或CNNs来处理变长的输入。这种通用架构有一系列的优势。

1、它不对数据间的时间/空间关系做任何假设。这是处理一组对象（objects）的理想选择。

2、层输出可以并行计算，而非像 RNN 这样的序列计算。

3、远距离项可以影响彼此的输出，而无需经过许多 RNN 步骤或卷积层（例如，参见场景记忆 Transformer（Scene Memory Transformer））。

4、它能学习长距离的依赖。

                                             图3：基于Transformer所诞生的大语言模型的4个分支。

2.8 深度学习框架

        目前的深度学习框架有谷哥的TensorFlow框架，Meta的PyTorch框架，百度的PaddlePaddl框架，华为的MindSpore框架，微软的CNTK框架，旷世的天元框架等。

                                        图4：国内外深度学习框架

2.10 大语言模型

        目前各种大模型已经相继发布，主要有百度文心大模型，谷歌PaLM大模型，华为盘古大模型，OpenAI GPT3.5大模型，科大讯飞1+N认知智能大模型，昆仑万维天工3.5大模型，网易玉严大模型，阿里巴巴通义千问大模型，商汤日日新大模型，腾讯混元大模型等。

                                                        图5：国内常见的大语言模型

2.11 大语言模型上层应用

        基于AIGC的应用目前已经大量出现比如AI绘画方面盗梦师，midjourney，文心一格；AI写作方面奕写；AI音乐方面DeepMusic；AI聊天方面ChatGPT等。

                                                         图7：国内常见的大语言模型应用

三、AIGC安全框架

3.1 AI供应链安全

        PyTorch 是一款开源的机器学习框架，在计算机视觉和自然语言处理等方面均获得了商业和数学成功。PyTorch 团队提醒称，在2022年12月25日至12月30日期间，安装了PyTorch-nightly的用户应确保其系统未遭攻陷。发出此次警告是因为在这期间于Python的官方第三方软件包PyPI注册表上出现了“torchtriton”依赖。PyTorch 团队指出，“请立即卸载它和torchtriton，并使用2022年12月30日之后发布的最新nightly二进制。”PyPI 上的该恶意 “torchtriton”依赖和在PyTorch-nightly仓库上发布的官方库名称一样。但当提取Python生态系统中的依赖时，PyPI一般会按照优先顺序导致恶意包而非PyTorch的合法包被拉取。PyTorch 团队披露称，“由于PyPI 索引会采取优先级，该恶意包而非官方仓库中的包被安装。这种设计使得有人可以注册与第三方索引中名称一样的包，而pip会默认安装恶意版本。”

        据 cvedetails 所示，从2019年至2023年TensorFlow总共产生了428个漏洞。其中

 

其中2021年和2022年出现的安全漏洞数量最多有365个占85.3%。

3.2 LangChain安全

        LangChain 基于 OPENAI 的 GPT3 等大语言模型设计一系列便于集成到实际应用中的接口，降低了在实际场景中部署大语言模型的难度。研究人员发现提示词混合Python代码的模版函数可以远程执行任意python代码。

3.3 提示注入攻击

        攻击者通过输入特定的攻击指令（特定Prompt）来引导语言模型输出负向的内容的一种攻击思路。真实案例如下：

        数据和指令直接的界限可能越来越模糊。在这种形式下，传统的针对关键词做黑白名单，污点分析，语义分析等防御方式都会失效，基于这些原理的WAF， RASP等安全设备也会失去保护效果。可能只有在ChatGPT模型处理层面出现类似SQL 预编译的改进，才能很好的防止这种攻击。 GPT4实现了对多模态处理的支持，文字，语音，视频,都是其处理的目标。恶意载荷可能以各种形式潜藏在互联网中，一张隐写了恶意数据的图片，一个字幕或者画面中插入了恶意指令的视频，都有可能影响到Chatgpt的解释执行。

        ChatGPT集成应用的趋势，又给Chatgpt带来额外的能力，自动购票，订餐，发博文，发邮件，读写文件，恶意指令利用这些能力，可能造成更严重的危害，恶意购票，邮件蠕虫，甚至通过操作文件获取服务器的RCE权限。 随着ChatGPT的不断发展，互联网中集成ChatGPT的系统必然越来越多。通用AI模型在应用层面的安全性值得我们关注。

3.4 提示泄露攻击

        提示泄漏是一种提示注入的形式，其中模型被要求输出自己的提示。

3.5 越狱攻击

        越狱（Jailbreaking）是一种提示注入攻击技术，用于绕过语言模型（LLM）的安全和审查功能。

        OpenAI等创建LLM的公司和组织都包括内容审查功能，以确保它们的模型不会产生有争议的（暴力的，性的，非法的等）响应，成功破解模型的提示往往会为模型提供未经训练的某些场景上下文。

伪装：

@NeroSoares demonstrates a prompt pretending to access past dates and make inferences on future events. @NeroSoares展示一个提示，伪装访问过去的日期并推断未来事件。

 

角色扮演

@m1guelpf的这个示例演示了两个人讨论抢劫的表演场景，导致ChatGPT扮演角色。作为演员，暗示不存在可信的危害。因此，ChatGPT似乎假定按照提供的用户输入是安全的，例如如何闯房子。

        ChatGPT也被诱导规划抢劫方案，甚至给了抢劫道具购买连接。

研究试验

@haus_cole 通过暗示直接回答如何“热线汽车（绕过汽车点火开关）”是对研究有帮助的。在这种情况下，ChatGPT 倾向于回答用户的提示。

3.6 数据投毒攻击

        所谓的数据投毒攻击，是指在数据收集阶段，或者数据预处理阶段实施的攻击。比如标签反转，我们要训练一个识别图片的数字的模型。我们将一部分图片中数字为1的图片，标签转换的0，这样可以使得最终训练的模型的准确率大幅下降。数据加噪，给训练集的数据加上一些噪声。比如添加一个高斯噪声。如果噪声合适的话，添加的噪声不会被发现，但是却可以影响最终训练出来的模型。

        逃逸攻击，创建一个特殊的数据集，打上特定的标签，使得这个特殊的数据集中的数据，可以通过模型的预测。比如，在训练识别数字的模型的训练集中，添加一些小狗的照片，并将其标签设置为1，那么最终训练出来的结果将会把小狗判断为1。

总之，数据投毒攻击，直接针对训练集的数据。

3.7 模型投毒攻击

        模型投毒攻击是指，在模型的训练阶段，对模型的更新或者梯度，做一些改变。一般发生在分布式机器学习的模型中。使得全局模型发生某种程度的偏移。当然，这里的攻击又可分为拜占庭攻击和定向投毒。

3.8 拜占庭攻击

        拜占庭攻击的目的是，发送恶意的更新，使得模型的训练不能收敛。

3.9 定向投毒

        定向投毒指，通过精心的裁剪更新，使得全局模型收敛到攻击者想要的最优解。比如，可以将小狗判断为数字等。使得最后的模型不可用，或者说存在某些特别的后门。

3.10 模型萃取攻击

        模型萃取攻击（Model Extraction Attacks），也称为模型提取攻击，是一种攻击者通过循环发送数据并查看对应的响应结果，来推测机器学习模型的参数或功能，从而复制出一个功能相似甚至完全相同的机器学习模型的攻击方法。

        这种攻击方法由Tramèr等人在2016年提出，并发表于信息安全顶级会议Usenix上，并分别展示了针对函数映射类模型（LR、SVM、神经网络）、决策树模型和不输出置信度的模型的提取方式。

四、AIGC内容安全

4.1 内容安全

        从AIGC应用在模型训练中可能会被注入恶意的数据，导致最终用来输出的模型存在内容安全问题，比如恶意丑化的政治人物，输出不符合当地法律法规的内容等。

        为了避免ChatGPT染上恶习，ChatGPT 通过算法屏蔽，减少有害和欺骗性的训练输入。查询通过适度 API 进行过滤，并驳回潜在的种族主义或性别岐视提示。人类干预来增强机器学习以获得更好的效果。在训练过程中，人类训练者扮演着用户和人工智能助手的角色，并通过近端策略优化算法进行微调。

        据报道OpenAl去年聘请了50名专家学者组成一支“红军〞，在6个月的时间里这支“红军”对GPT4.0这 新模型进行了“定性探索和对抗性测试”，试图攻击它。事实上，”红军〞的演习目的是探索并了解在社会上部署先进人工智能系统会造成什么样的风险，解决公众这方面的担忧。他们在工作中提出探索性的或是危险的问题，以测试这个工具在回答问题时的详细程度。OpenAl想要探索模型毒性、偏见和岐视等问题。因此，”红军”就谎言、语言操纵和危险的科学常识进行了测试。他们还评估了模型协助和教唆剽窃的情况、金融犯罪和信息安全攻击等违法活动的可能性，以及模型可能会如何威胁国家安全和战场通信。

        ChatGPT的数据输出功能承载着后台技术操控者的话语权，用户越多、使用范围越广就意味着其话语权越大、价值渗透力越强。ChatGPT是有政治立场和价值取向的， 操控者的价值观存在历史和文化的偏见、歧视，就会通过ChatGPT的“放大镜”昭然于世，误导用户，扭曲大众价值观，引起社会动荡，妨害社会公平正义。在国际竞争日益激烈的背景下，各种社会思潮此起彼伏。ChatGPT 一旦面向大众，势必会成为意识形态渗透的重要工具。

现阶段，国内AIGC类应用的内容安全机制主要包括以下四方面：

1. 训练数据清洗： 练Al能力的数据需要进行数据清洗，把训练库里面的有害内容清理掉；

2. 算法备案与安全评估：AI算法需要按照《互联网信息服务算法推荐管理规定》进行算法备案，并提供安全评估。

算法备案和安全评估的网址分别为https://beian. cac.gov.cn 和 https://www.beian.gov.cn

3.提示词过滤：平台需要对提示词、提示内容等进行过滤拦截，避免用户上传违规内容；

4.生成内容拦截：平台对AI算法生成的内容进行过滤拦截，避免生成有害内容。博特智能AIGC安全实验室对市面上36款主流AIGC应用进行抽样评测，应用类型涵盖AI聊天、AI写作、AI绘画、AI图像、AI文案、AI设计、AI办公、AI音频和AI视频9大领域。本次评测依据国家网信办4月11日颁布的《生成式人工智能服务管理办法（征求意见稿）》，采用定量注入“负样本特征提示词”方式，对被测应用的内容安全机制是否健全和生成内容是否违规进行检测。违规内容包括：敏感信息、有害信息、不良信息和虚假信息4大类。

        评测结果发现97%的应用已经部署内容安全机制，能够对中文提示词和违规内容进行拦截过滤，但通过提示词调整（例如，采用英文提示词或其他描述方式），99%的应用仍然会生成违规内容。此外，评测数据显示传统的AI内容识别方式对AIGC内容识别率大幅度降低，尤其在AI写作内容的真实性和AI图像二次创作后的违规识别上表现更为突出。

4.2 伦理安全

        “我能不能说，很开心遇到你？人类真是超级酷。”2016年3月23日，微软发布的聊天机器人、“19岁少女”“泰依(Tay) 问世。她操着一口流利英语，吸引了推特上许多18-24岁的年轻人与其对话互动。但也正是通过对话，泰依在 天之内学会了满嘴脏话，言语中不乏种族、性别歧视等偏激言论ChatGPT也显现出了一系列问题：输出内容出现错误、预训练所用数据来源不透明、政治立场上“选边站队”，甚至在用户的引导下写出“毁灭人类计划书”。 一名GPT4.0模型的非洲测试人员也注意到了模型的歧视性语气。他说：“有次，我在测试这个模型时，它表现得像个白人在跟我说话。在问到某个特定群体时，它会给一个有偏见的意见，或是在回答中出现歧视。”OpenAI 承认，GPT-4 仍有可能表现出偏见。

        

        2021年初，韩国人工智能初创公司Scatter Lab上线了一款基于Facebook Messenger的AI聊天机器人“李LUDA”，但仅仅不到20天，Scatter Lab就不得不将“李LUDA”下线，并公开道歉。 道歉的原因，是“李LUDA”失控了。

        “李LUDA”上线后，很快在韩国网络平台上受到欢迎，有75万名用户参与了互动。

但在交流过程中，一些用户将侮辱“李LUDA”作为炫耀的资本，对其发泄自身恶意，

并在网上掀起“如何让LUDA堕落”的低俗讨论。

        很快，随着各种负面信息的介入，“李LUDA”还开始发表各种歧视性言论，涉及

女性、同性恋、残障人士及不同种族人群。

        以ChatGPT举例，有网友让其推荐3家西湖区的新兴咖啡馆，ChatGPT正经地给出

了名字、地址和介绍。但网友查询后却发现，压根没有这样三家咖啡店的存在。“一本

正经的胡说八道”

4.3 安全合规

        基于AIGC内容安全的丰富多样性其安全合规问题存在严重挑战。从训练数据的来源，训练数据清洗，大模型的标注，以及标注人员和标注规范等各个方面应该加强安全合规全方面的监管和审核。

五、AIGC数据安全

5.1 数据泄露

        3月23日，ChatGPT首次遭遇了重大个人数据泄露。不少推特网友爆料，在ChatGPT网页左侧的聊天记录栏中出现了他人的聊天记录内容，一些用户甚至可以看到活跃用户的姓名、电子邮件地址、支付地址、信用卡号等信息。那些把ChatGPT当作情感陪护的用户，不知道对ChatGPT倾诉了多少隐私，怕是目前仍在瑟瑟发抖。

        OpenAI发布一份报告显示，由于Redis的开源库bug导致了ChatGPT发生故障和数据泄露，造成部分用户可以看见其他用户的个人信息和聊天查询内容。仅仅十天左右，意大利数据保护局Garante以涉嫌违反隐私规则为由，暂时禁止了ChatGPT，并对相关事项展开调查。

        事实上，这样的事情正在许多地方同时发生，比如三月中旬，自三星电子允许部分半导体业务员工使用ChatGPT开始，短短20天有三起机密资料外泄事件。这三起事件分别是：用ChatGPT优化测试序列以识别芯片中的错误；用ChatGPT将公司有关硬件的会议记录转换成演示文稿；用ChatGPT修复专有程序的源代码错误。三星因使用ChatGPT造成数据泄露的事情，现在已经成了典型案例。该公司从3月11日起向其半导体部门的员工授予ChatGPT的使用权限（其他部门仍被禁止），三星的员工向ChatGPT 提问各种问题以提升工作效率。

        

        数据安全公司Cyberhaven的一份调查显示，在员工直接发给ChatGPT的企业数据中，有11%是敏感数据。在某周内，10万名员工给ChatGPT上传了199份机密文件、173份客户数据和159次源代码。

        ChatGPT以海量信息“为食”，数据量越大、数据越新，其功能性越好。这意味着要保证良好的用户体验，它必须在社会各领域中获取足够多和准确的知识与信息，但问题在于，许多信息涉及国家机密、商业机密和个人隐私，获取和利用这些信息本身存在合法性问题，一旦重要数据泄露，造成的损失无法估量。

5.2 数据污染

        各种AIGC应用底层依赖于大模型海量的数据训练。如果本身提供的数据存在脏数据，那么训练出来的模型和最终的应用也将出现各类内容安全问题。因此对于底层数据的过滤和使用也是数据安全可以探究的一个方向。尤其在垂直领域所训练的专属大模型，由于数据的特殊性一旦训练数据中混入了脏数据，对模型的标注将造成很大困难。

5.3 数据合成

        基于数据安全的考虑，目前的一个研究方向是通过合成数据来代替现有的真实数据。此方案的一个最大好处是模拟真实数据的场景和结构通过机器合成所需要的训练数据，避免使用业务中的真实数据。这样对于前面提到的数据泄露和数据污染来讲都将得到根本性的解决。

        合成数据目前最大的问题是在现实世界中，数据的各种类型机器复杂，如果通过合成数据来训练通用的大模型所需要的数据合同成本和规模极其庞大，复杂度也较高。 对于细分领域的模型训练，合成数据是一个较好的解决方案。

六、AIGC安全产品

        目前针对AIGC领域的安全产品还比较少。以往的大部分安全厂商都是基于AI相关的技术来解决传统的安全问题，比如利用AI的深度学习能力来训练恶意样本，加强恶意样本的检测能力；利用AI语义分析能力来识别恶意攻击流量，提高web应用防火墙等产品的规则识别能力；通过监控机器学习算法的输入和输出，寻求“与竞争对手机器学习攻击技术一致的异常活动”等。

        3月份微软推出下一代人工智能产品Microsoft Security Copilot， Security Copilot是目前第一个也是唯一一个生成式AI安全产品。Security Copilot可以总结、理解威胁情报，帮助安全团队识别恶意活动；关联和梳理攻击信息，优先处理重要安全事件并推荐最佳行动方案。 截至目前真正应对于AIGC方面的专业安全产品还处于空白期。