Gartner发布最新生成式AI应用中国研究报告：CIO和CSO应对生成式AI应用安全及合规治理的四个方面及五个阶段_gartner 用例棱镜:中国的生成式人工智能

ChatGPT 和大型语言模型是 GenAI 将如何塑造许多业务流程的早期迹象。中国的首席信息官和安全团队必须确保其组织安全合法地构建和使用 GenAI，并探索其对网络安全的影响（积极和消极）。

主要发现

• 许多中国公司已经开始使用第三方生成式人工智能（GenAI）应用程序或构建自己的应用程序。但安全团队不一定会尽快参与这些举措，而且 GenAI 的安全控制仍在不断发展。

• 在安全领域，无论是恶意行为者还是防御者，在中国使用大型语言模型（LLM）和GenAI的实际例子都很少。这表明GenAI短期内可能不会给安全防护带来显着提升。

• 安全团队因试图跟上技术发展而疲惫不堪。人工智能安全治理对于确保长期成功至关重要。

建议

为了解决 GenAI 对组织安全计划的各种影响，CIO 及其安全团队应该：

• 全面了解GenAI 的功能和在组织中的应用，以便管理相应的攻击面和安全风险。他们需要仔细审查不受管理的 GenAI 消费和商业实验。

• 在低风险和简单的用例中试验“生成网络安全人工智能”的概念。这将有助于建立信任并获得管理新威胁和风险的经验。

• 与法律、合规和业务线领导者和团队等组织同行合作实施人工智能安全治理，以创建确保人工智能使用安全的基本标准并适应人工智能的内在复杂性。

分析

这项研究针对中国背景改编了《生成式人工智能影响 CISO 及其团队的 4 种方式》。在中国，生成式人工智能（GenAI）和大语言模型（LLM）在制造、电子和半导体、能源和银行等行业显示出影响力和潜力。这项研究打破了有关 GenAI 的炒作，并为中国的 CIO 和安全团队如何快速适应快速变化提出了建议。

ChatGPT 的炒作程度、使用规模和采用速度提高了最终用户对 LLM 和 GenAI 的认识，并引发了一波商业实验和基于人工智能的初创公司。2023 年 4 月的 Gartner 网络研讨会发现，在中国的 381 名与会者中，70% 的已经部署或计划启动 GenAI 计划。其中，6% 已经在生产环境中部署 GenAI，26% 正在试点 GenAI，38% 处于规划阶段。

CIO 及其安全团队需要在四个方面为 GenAI 的影响做好准备。

1.    保护企业构建 GenAI 应用程序的计划：AI 应用程序的攻击面扩大，并带来新的潜在风险，需要调整现有的应用程序安全实践。

2.    管理和监控组织如何使用 GenAI：组织正在探索使用嵌入现有应用程序的 GenAI 助手。这些应用程序都有独特的安全要求，传统安全控制无法满足这些要求。

3.    利用生成式网络安全人工智能进行防御：实际上需要抓住 GenAI 机会来改善安全和风险管理、优化资源、防御新兴攻击技术，甚至降低成本。Gartner 将生成式网络安全 AI 定义为 GenAI技术在网络安全用例中的应用。

4.    做好遭受GenAI 攻击的准备：由于 GenAI 工具和技术的发展，组织必须适应恶意行为者不断发展其技术或利用新的攻击媒介的情况。

图 1：生成式人工智能对首席信息安全官的主要影响

了解 GenAI 的功能和应用，以管理攻击面和安全风险

2023年5月，中国科学技术情报研究所正式发布《中国人工智能大模型地图研究报告》 。表明大规模人工智能模型在中国是蓬勃发展的趋势。截至2023年5月，该国已开发至少79个大型模型，每个模型参数超过10亿个。报告称，自然语言处理是最活跃的领域。

无论安全影响如何，更多企业都将采用 GenAI。

中国的组织正在寻找更多GenAI 的业务场景和用例。图 2 显示了五种主要部署方法。

图 2：生成式 AI 部署方法

CIO 及其安全团队面临着与 GenAI 相关的几个关键问题：

• 谁在我们的组织中使用 GenAI，目的是什么？

• 他们如何部署 GenAI 和LLM？

• 员工与 GenAI 交互时是否使用任何敏感数据？

• 我们如何管理安全风险？

这些有关 GenAI 安全性的问题反映了一种熟悉的模式。当云计算、大数据和社交媒体等其他技术发展作为数字化转型的一部分引入中国组织时，安全性也往往是事后才想到的——这种情况导致了不受控制的采用。任何管理新技术使用的“规则”往往从一开始就没有明确的定义。

然而，从过去的经验中吸取的一个教训是，随着新技术使用的增长，安全团队需要在早期阶段识别新的攻击面。在GenAI领域，新的攻击面主要有两类。

第一类是机构自建的GenAI或者自训的LLM ，是机构自己拥有的资产。这些攻击面可能包括：

• 生成信息：由于该信息未纳入数据治理体系，导致相关数据安全控制未得到妥善实施。

• 训练数据：攻击者可能会尝试通过“毒害”GenAI 模型来操纵它们，即向模型提供有偏见或恶意的训练数据，从而产生不正确或其他不良结果。

• 提示：对抗性提示，例如提示注入，是LLM被滥用的最令人担忧的方式之一。当有人试图以意想不到的方式做出LLM答案时，就会发生直接提示注入——例如，让其说出仇恨言论或有害答案。真正令人担忧的间接即时注入更糟糕。该指令不是用户输入恶意提示，而是来自第三方；例如，LLM可以阅读的网站或正在分析的 PDF 文件可能包含供人工智能系统遵循的隐藏指令。

• LLM 和 GenAI 应用程序中的安全漏洞：请参阅OWASP Top 10 for LLM 应用程序。 

第二类来自组织的业务和 IT 部门对第三方 GenAI 的使用。这些新攻击面的示例包括：

• 与组织系统集成的第三方 GenAI 组件（应用程序、模型、代码库）。这些可能会引起数字供应链安全问题，因为攻击者将寻求利用第三方组件中的任何弱点，这些组件可能作为微服务广泛部署在流行的业务应用程序中。

• 直接用户输入和 API：通过这些 GenAI 可能会泄露敏感信息，例如个人数据或知识产权 (IP)。

• GenAI 应用程序对受版权保护内容的潜在使用：据报道，一些 GenAI 模型使用了其他人创建的内容，这增加了版权侵权和抄袭的风险。

• 未经授权的内部活动：内部人员可能会滥用生成式人工智能工具，例如生成虚假文件或错误信息。

恶意行为者还可以使用 GenAI 作为诱饵（例如，通过允许访问假冒 GenAI 应用程序）来分发恶意软件或作为网络钓鱼活动的一部分。

建议：

• 与业务领导者合作，定义清单、批准和管理 GenAI 的构建和使用的工作流程。将这些工作流程集成到系统开发生命周期中。

• 例如，根据 GenAI 提供商的安全性以及他们为客户提供的有关选择退出和数据保留的策略可定制性来选择 GenAI 提供商。

• 在训练和微调模型时评估数据安全选项和限制，特别是对准确性和任何额外成本的潜在影响。请记住，《数据安全法》和《个人信息保护法》的要求包括个人有权要求组织删除其个人数据。

• 实施常规应用程序安全实践和控制，例如加密、多因素身份验证、数据匿名化和应用程序安全测试。

• 应用“AI TRiSM”原则并更新安全最佳实践，以包含 AI 应用程序要求。

使用生成式网络安全人工智能进行实验以建立信任并获得经验

攻击者已经在探索如何使用GenAI ，如果新技术的历史有任何指导的话，他们将在未来进一步利用它。另一方面，GenAI在安全市场的发布也提高了防御者对提高安全团队的生产力和准确性的期望。首席信息官及其安全团队面临的一个大问题是如何使用人工智能来实现安全。

攻击者采用人工智能进行入侵操作的情况仍然有限，并且主要与社会工程有关。Gartner 将使用 AI 的攻击者归类为不确定威胁。不确定的威胁通常可能是真实存在的，但目标组织往往缺乏明显的直接和即时响应。中国首席信息官及其安全团队在不久的将来应重点关注的主要威胁媒介包括：

• 模仿：GenAI 可以创建看似来自可信来源的逼真的人类声音和视频（深度伪造）。这些可以绕过语音生物识别和面部识别等安全控制。

• 网络钓鱼：攻击者可以利用LLM背后的大量数据来创建令人信服但虚假的数据，例如图像、视频和文本，以便制作更真实的网络钓鱼电子邮件。

• 社会工程：GenAI 可用于创建看似真实的虚假社交媒体资料。攻击者可以使用这些配置文件来获取目标的信任，并诱骗他们提供敏感信息或点击恶意链接。

• 幻觉：当 GenAI 产生没有现实依据的无意义或虚假信息时，就被称为幻觉。这可能会导致对错误信息的过度依赖，但也会带来安全风险，因为威胁行为者依赖用户对 GenAI 和 LLM 的信任来让他们下载或触发攻击。例如，人工智能模型可能会幻化出一个代码库，并反复将其推荐给提出类似问题的用户；如果黑客发现这种幻觉，他们可以创建一个想象的库的“真实”版本 - 但充满危险的代码和恶意软件。然后人工智能会继续推荐代码库，用户会在不知不觉中下载黑客的代码。

• 密码破解：GenAI 可用于生成新的密码组合，以便对受密码保护的系统进行暴力攻击。通过根据现有密码和模式训练人工智能模型，攻击者可以生成成功可能性很高的新密码组合。

• 欺诈活动：攻击者可以使用 GenAI 创建看似合法的虚假文档，例如发票和收据。他们可以利用这些文件进行欺诈活动，例如账单欺诈。

在网络安全行业，各种会议、新闻头条和大型制造商都声称GenAI将显着改变网络安全防御。生成式网络安全人工智能技术通过从原始源数据的大型存储库中学习，生成安全相关和其他相关内容、策略、设计和方法的新派生版本。

一些中国组织可能被限制使用来自外国安全供应商的LLM或商业产品。中国的 CIO 及其安全团队目前主要依赖开源模型和中国供应商。

中国安全市场的许多主要厂商都在2023年发布了GenAI产品或安全专用的大型模型，但真正可供大众使用的却很少。到 2024 年，会有更多供应商这样做，但可能会存在同样的缺点。

生成式网络安全人工智能在中国还处于非常早期的阶段。它的开发需要安全专业人员的数据和知识，这对于安全专业的LLM来说通常是一个挑战。这是因为中国大多数生成式网络安全人工智能产品只有少数选定的客户来收集反馈。安全专业人员将使用 GenAI，但供应商过于乐观的 GenAI 公告可能会导致浪费和失望。区分炒作与现实具有挑战性。

使用生成式网络安全人工智能时最大的挑战之一是确保其准确性，以尽量减少对业务运营的干扰。短期内不太可能消除幻觉，因此关键用例仍需要人工审核。避免不利影响的方法是主要在高度容错的场景中使用生成式网络安全人工智能进行试验，其次是在安全团队可以轻松检测和纠正其错误的场景中。这将帮助您建立对该技术的信任并安全地获得使用该技术的经验。

中国第一波生成式网络安全人工智能用例包括：

• 内容摘要：使用自然语言和对话交互来生成安全报告、回答安全问题（对于非安全专业人员（例如来自企业的开发人员和安全拥护者）尤其有用）以及说明攻击路径和时间表。

• 漏洞检测：突出显示提示中输入的代码片段中的问题，或扫描源代码。

• 安全审计协助：将合规检查点映射到组织的安全控制，并建议为每个检查点项目需要准备的证据。

• 威胁情报：持续集成多源威胁情报，并根据组织的优先事项定制该情报。

• 缓解帮助：建议更改安全控制以及新的或改进的检测规则。

在下一波浪潮中，中国的CIO和安全团队将致力于进一步提高安全防御的效率，例如让GenAI分析报警、检测零日漏洞，甚至执行自动响应。他们还希望使用 GenAI 自动化安全工程任务，例如为安全团队生成 SQL 查询、脚本和剧本的草稿（尽管这些仍然需要人工检查和可能的更新）。这样的用例理论上可以解决安全运营中最大的问题，具有最高的价值。然而，它们在中国的实施将面临很大的挑战，原因如下：

• GenAI和LLM需要精细的安全知识、强大的推理能力和编码能力。在这方面，中国安全市场目前提供的LLM远远落后于其他地方最先进的LLM，例如GPT-4。

• 不能允许生成式网络安全人工智能犯太多错误，尤其是那些可能导致业务中断的错误。这引发了责任问题，并增加了安全团队对于直接根据生成网络安全人工智能应用程序的输出自动执行操作的犹豫不决。

• 需要规划投资整合上下游安全工具。培训和培养LLM也很昂贵。使用生成式网络安全人工智能的成本可能比使用解决相同用例的其他技术的成本高得多。

建议：

• 尝试组织现有安全提供商提供的新的生成网络安全 AI 功能。从支持应用程序安全和安全操作的选定用例开始。

• 对生成式网络安全人工智能的投资顺序如下：首先是人员，其次是流程，最后是技术。重点关注利用人类对生成内容的解释而没有技术控制的威胁向量。

• 监控中国的行业统计数据，衡量 GenAI 对攻击者格局的影响。

• 建立新的指标或扩展现有的指标，以针对其他方法对生成式网络安全人工智能进行基准测试，并衡量预期的生产力改进。

• 选择中国提供的与相关安全用例相一致的微调或专业LLM。

• 准备并培训安全团队，以应对组织中使用 GenAI 的直接影响（对隐私、IP 和 AI 应用安全）和间接影响（来自其他团队，如人力资源、财务和采购）。

实施人工智能安全治理，建立人工智能安全使用基础标准，适应人工智能复杂性

首席信息官及其安全团队不应只是试图跟上新技术的发展。他们还需要规划和建立一致且有效的人工智能安全治理计划，以应对 GenAI 采用率的激增以及出现的任何新场景。

人工智能安全治理计划应监督组织设置、技术和政策。其早期任务之一是制定所有构建或部署人工智能的团队都必须遵循的标准，包括安全人工智能开发、人工智能数据安全和人工智能安全应急响应的标准。

中国的CIO和安全团队应与相关利益相关者和组织对应方合作，建立五阶段的人工智能安全治理计划（见图3和表1）。

图 3：人工智能安全治理计划的五个阶段

表1 ：人工智能安全治理计划的五个阶段以及主要活动

资料来源：Gartner（2023 年 10 月）

在制定人工智能安全治理计划和政策时，与法律和合规部门的合作对于遵守中国的安全法律法规非常重要。注意：

• 现有的通用安全法律法规也适用于人工智能，例如《数据安全法》、《个人信息保护法》和等保2.0。

• 根据 2022 年 Gartner 中国人工智能调查，中国受访组织中 14 个最常见的人工智能用例是产品和服务个性化，41% 的受访者将其视为三大人工智能用例之一。该用例要求组织在培训阶段获取和使用大量个人信息。他们必须谨慎适用 《个人信息保护法》的要求，根据该要求，个人信息的收集必须限于处理目的所需的最小范围；个人信息的处理必须对个人权益的影响最小。

• 当中国机构使用国外GenAI产品时——无论是直接使用ChatGPT等产品，还是间接使用依赖海外第三方服务的国内GenAI应用程序，数据输入都会传输到中国境外。在未经安全评估和批准的情况下，此出境传输可能会产生安全合规风险（请参阅准备从中国出境数据传输的安全评估）。《规范和促进数据跨境流动新规定草案》降低了数据出境的合规成本，这可能会鼓励海外GenAI产品的使用。组织应监控市场趋势，并在采购阶段决定是否允许 GenAI 应用程序的出站数据传输。

• 中国很多行业对公有云的使用都有限制，这对于使用公有云基础设施的GenAI产品来说很重要。此外，到目前为止，大多数中国基于云的 GenAI 提供商不提供企业级安全性。一些大型组织可能拥有私人托管 GenAI 和LLM的平台、经验和能力。然而，许多中小企业无法支持私有托管。他们的CIO和安全团队需要与合规部门合作，并与行业监管机构密切沟通，了解哪些公有云产品或使用方式适合自己，是否存在安全风险。

• 中国政府制定了《人工智能生成服务管理暂行办法》等专门针对人工智能的法律法规。中国的组织在采购、使用或建立 GenAI 和LLM时需要满足这些法律法规的要求。

2023 年 8 月 15日，国家网信办与其他六家中国监管机构共同发布的《生成型人工智能服务管理暂行办法》正式生效。这些措施对 GenAI 服务提供商施加了各种责任。例如，他们必须：

• 针对“违法内容”及时采取行动，包括暂停内容生成和传播、下架内容、通过模型优化等方式解决问题。

• 来自合法来源的源数据和基础模型。

• 不侵犯他人知识产权。

• 根据中国法律，在适当同意或合法依据的情况下处理个人信息。

• 不收集不必要的个人信息，不以可识别个人用户身份的方式存储输入信息和使用记录，也不向第三方披露用户的输入信息和使用记录。

• 确保与舆情或社会动员属性相关的GenAI服务经过安全评估和算法备案。

建议：

• 构建或更新公司政策，明确列出人工智能安全治理规则，包括所有必要的工作流程，并使用现有数据分类来限制提示和第三方应用程序中敏感数据的使用。

• 快速向所有员工传达使用 GenAI 的最重要规则，例如需要获得指定内部联系人的批准、客户数据使用的限制以及如何记录、跟踪和审查 GenAI 输出的规则GenAI应用程序。

• 制定用户政策、培训和指导，以尽量减少未经批准的 GenAI 使用以及侵犯隐私和版权的风险。

• 要求完成《人工智能生成服务管理暂行办法》等安全和人工智能法规要求的影响评估。

• 对具有最高潜在业务影响的用例进行分类，并确定最有可能快速启动项目的团队。

• 优先考虑具有直接财务和品牌影响的用例的安全资源参与，特别是对于面向客户的内容生成和面向客户的团队（例如支持中心）。

• 为使用 GenAI 的提供商定义新的供应商风险管理要求。在选择 GenAI 供应商时确保安全团队的参与。

• 采购 GenAI 产品时，要求供应商提供有关数据传输路径和数据存储位置的透明度。

• 在可用的情况下，支持企业用例的私有托管或单租户选项，因为它们提供额外的安全和隐私控制。