LLM人工智能网络安全与治理检查表_llm ai cybersecurity & governance checklist.

概述

每个互联网用户和公司都应该为即将到来的强大的生成式人工智能（GenAI）应用浪潮做好准备。GenAI在各种行业的创新、效率和商业成功方面有着巨大的前景。尽管如此，就像任何强大的早期技术一样，它也带来了一系列明显而意想不到的挑战。

在过去的50年里，人工智能取得了巨大的进步，默默无闻地支持着各种企业流程，直到ChatGPT的公开亮相推动了大型语言模型（LLM）在个人和企业中的开发和使用。最初，这些技术仅限于学术研究或公司内部某些但至关重要的活动的执行，只有少数人才能看到。然而，最近在数据可用性、计算机能力、GenAI功能以及Llama 2、ElevenLabs和Midtravel等工具的发布方面取得的进展，已将人工智能从小众提升为普遍接受。这些改进不仅使GenAI技术更容易获得，而且还突出了企业在运营中集成和利用人工智能的坚实战略的迫切需要，这标志着我们在使用技术方面迈出了巨大的一步。

• 人工智能（AI）是一个广义的术语，涵盖了计算机科学的所有领域，使机器能够完成通常需要人类智能的任务。机器学习和生成人工智能是人工智能的两个子类别。

• 机器学习是人工智能的一个子集，专注于创建可以从数据中学习的算法。机器学习算法是在一组数据上进行训练的，然后它们可以使用这些数据对新数据进行预测或决策。

• 生成式人工智能是一种专注于创建新数据的机器学习。
• 大型语言模型（LLM）是一种处理和生成类人文本的人工智能模型。在人工智能的背景下，“模型”是指一个经过训练以根据输入数据进行预测的系统。LLM是专门针对自然语言的大型数据集和大型语言模型进行训练的。

各组织正在进入保护和监督GenAI解决方案的未知领域。GenAI的快速发展也为对手加强攻击策略打开了大门，带来了防御和威胁升级的双重挑战。

负责任、值得信赖的人工智能

OWASP人工智能交流工作组正在监测这些变化，并解决人工智能各个方面更广泛、更具挑战性的考虑因素。

图1.1：描绘值得信赖的人工智能支柱的图像

这是给谁的？

OWASP LLM应用程序网络安全和治理十大清单适用于高管、技术、网络安全、隐私、合规和法律领域的领导者、DevSecOps、MLSecOps以及网络安全团队和捍卫者。它适用于那些努力在快速发展的人工智能世界中保持领先地位的人，其目的不仅是利用人工智能取得企业成功，还旨在防范仓促或不安全的人工智能实施风险。这些领导者和团队必须制定策略来抓住机会、应对挑战和降低风险。

此清单旨在帮助这些技术和业务领导者快速了解使用LLM的风险和好处，使他们能够在制定大型语言模型战略时，专注于制定一份全面的关键领域和任务清单，以保护和保护组织。

LLM应用程序团队的OWASP前十名希望这份名单将帮助组织改进现有的防御技术，并开发技术来应对使用这项令人兴奋的技术带来的新威胁。

为什么是检查表？

用于制定策略的检查表提高了准确性，定义了目标，保持了一致性，并促进了重点细致的工作，减少了疏忽和遗漏的细节。遵循检查清单不仅可以增加对安全收养之旅的信任，还可以通过提供一个简单有效的持续改进战略来鼓励未来组织的创新。

不全面

尽管本文档旨在支持组织在快速变化的技术、法律和监管环境中制定初始LLM战略，但它并不是详尽无遗的，也没有涵盖每个用例或义务。在使用本文件时，组织应根据其用例或管辖权的要求，将评估和实践扩展到所提供清单的范围之外。

大型语言模型挑战

大型语言模型面临着几个严重而独特的问题。其中最重要的一点是，在使用LLM时，控制平面和数据平面不能严格隔离或分离。另一个重大挑战是LLM在设计上是不确定性的，在提示或请求时会产生不同的结果。两者之间的关键区别在于，模型的算法优先考虑其响应中的项。这与消费者以前使用技术的方式有很大不同，并对研究结果的一致性和可靠性产生了影响。这种方法的结果是从模型训练数据中的差距和训练缺陷中产生幻觉。

有一些方法可以提高可靠性，减少越狱、模型欺骗和幻觉的攻击面，但在成本和功能方面，限制和实用性之间存在权衡。

LLM的使用和LLM应用程序增加了组织的攻击面。一些相关风险

攻击者越来越多地利用LLM和Generative AI工具来改进和加快攻击组织、个人和政府系统的传统方法。LLM促进了他们增强技术的能力，使他们能够毫不费力地制造新的恶意软件，这些恶意软件可能嵌入新的零日漏洞或旨在逃避检测。它们还可以生成复杂、独特或量身定制的网络钓鱼方案。无论是视频还是音频，令人信服的深度造假的创造进一步推动了他们的社会工程策略。未来，犯罪行为体对人工智能技术的更多“量身定制”和复合使用将需要针对组织的适当防御和恢复能力做出具体回应和专门解决方案。

组织还面临着不利用LLM能力的威胁，例如竞争劣势、客户和合作伙伴对过时的市场认知、无法扩展个性化通信、创新停滞、运营效率低下、流程中人为错误的风险更高以及人力资源分配效率低。

了解不同类型的威胁并将其与业务战略相集成，将有助于权衡使用大型语言模型（LLM）与不使用它们的利弊，确保它们加速而不是阻碍业务实现业务目标。

LLM威胁类别

 

图1.2：描述人工智能威胁类型的图像

人工智能安全与隐私培训

整个组织的员工都受益于了解人工智能、生成性人工智能以及构建、购买或使用LLM的未来潜在后果的培训。允许使用和安全意识的培训应针对所有员工，并更专业地从事某些职位，如人力资源、法律、开发人员、数据团队和安全团队。

公平使用政策和健康互动是关键方面，如果从一开始就纳入这些方面，将成为未来人工智能网络安全宣传活动成功的基石。这必然会为用户提供互动基本规则的知识，以及将良好行为与不良或不道德行为区分开来的能力。

将LLM安全和治理与现有、既定的实践和控制相结合

尽管人工智能和生成的人工智能为网络安全、恢复力、隐私以及满足法律和监管要求增加了一个新的维度，但长期以来的最佳实践仍然是识别问题、发现漏洞、修复漏洞和缓解潜在安全问题的最佳方式。

• 确认人工智能系统的管理与现有的组织实践相结合。

• 确认AIML系统遵循现有的隐私、治理和安全实践，并在需要时实施特定于人工智能的隐私、管理和安全实践。

基本安全原则

LLM功能引入了不同类型的攻击和攻击面。LLM易受复杂业务逻辑错误的影响，如提示注入、不安全的注入设计和远程代码执行。现有的最佳实践是解决这些问题的最佳方式。了解安全软件审查、体系结构、数据治理和第三方评估的内部产品安全团队网络安全团队还应检查当前控制的力度，以发现LLM可能会使问题变得更糟的问题，如语音克隆、模拟或绕过captchas。鉴于机器学习、NLP（自然语言处理）、NLU（自然语言理解）、深度学习以及最近的LLM（大型语言模型）和Generative AI的最新进展，建议将精通这些领域的专业人员与网络安全和Devops团队一起纳入。他们的专业知识不仅有助于采用这些技术，而且有助于开发创新分析和应对新出现的挑战。

危险

风险参考使用ISO 31000定义：风险=“不确定性对目标的影响”。检查表中包括的LLM风险包括一份针对性的LLM的风险清单，其中涉及对抗性、安全性、法律、监管、声誉、财务和竞争风险。

漏洞和缓解分类

目前用于对漏洞进行分类和共享威胁信息的系统，如OVAL、STIX、CVE和CWE，仍在开发监测和提醒防御者注意大型语言模型（LLM）和预测模型特有的漏洞和威胁的能力。当发现AI/ML系统及其供应链的漏洞或威胁时，预计各组织将依靠这些既定和公认的标准，如漏洞分类的CVE和网络威胁情报交换的STIX。

确定LLM策略

大型语言模型（LLM）应用程序的快速扩展提高了对业务运营中使用的所有人工智能/机器学习系统的关注和检查，包括生成人工智能和长期建立的预测人工智能/机械学习系统。这种日益集中的关注暴露了潜在的风险，例如攻击者针对以前被忽视的系统，以及在法律、隐私、责任或保修问题上可能被忽视的治理或法律挑战。对于任何在运营中利用AI/ML系统的组织来说，评估和建立全面的政策、治理、安全协议、隐私措施和问责标准至关重要，以确保这些技术与业务流程安全、合乎道德地保持一致。

攻击者或对手对企业、人民和政府机构构成了最直接、最有害的威胁。他们的目标从经济利益到间谍活动，迫使他们窃取关键信息，扰乱运营，损害信心。此外，他们利用人工智能和机器学习等新技术的能力提高了攻击的速度和复杂性，使防御很难领先于攻击。

对许多组织来说，最紧迫的非对手LLM威胁源于“影子人工智能”：员工使用未经批准的在线人工智能工具、不安全的浏览器插件，以及通过更新或升级引入LLM功能的第三方应用程序，绕过标准软件审批流程。

图2.1：部署策略选项的图像

部署策略

范围从利用公共消费者应用程序到对私有数据的专有模型进行培训。用例敏感性、所需功能和可用资源等因素有助于确定方便性与控制性之间的正确平衡。然而，理解这五种模型类型为评估选项提供了一个框架。

图2.2：部署类型的选项图像

对抗性风险

对抗性风险包括竞争对手和攻击者。

• 仔细研究竞争对手如何投资人工智能。尽管人工智能的采用存在风险，但也有可能影响未来市场地位的商业利益。
• 调查当前控制的影响，如密码重置，这些控制使用语音识别，可能不再提供适当的防御安全，以抵御新的GenAI增强攻击。
• 更新GenAI增强攻击和AIML特定事件的事件响应计划和行动手册。

威胁建模

强烈建议使用威胁建模来识别威胁并检查流程和安全防御。威胁建模是一组系统的、可重复的过程，能够为应用程序、软件和系统做出合理的安全决策。针对GenAI加速攻击和部署LLM之前的威胁建模是识别和减轻风险、保护数据、保护隐私以及确保业务内安全、合规集成的最具成本效益的方法。

攻击者将如何加速针对组织、员工、高管或用户的攻击？组织应该使用Generative AI来预测大规模的“超个性化”攻击。LLM辅助的矛式网络钓鱼攻击现在比攻击更有效、更有针对性和武器化。

GenAI如何通过欺骗或GenAI生成的内容来攻击企业的客户或客户？

企业能否检测并消除对LLM解决方案的有害或恶意输入或查询？

• 业务能否通过在所有LLM信任边界上的安全集成来保护与现有系统和数据库的连接？

企业是否有内部威胁缓解措施，以防止授权用户滥用？

• 企业能否防止未经授权访问专有模型或数据以保护知识产权？

企业能否通过自动内容过滤来防止有害或不适当内容的生成？

AI资产盘点

人工智能资产清单应适用于内部开发和外部或第三方解决方案。

• 对现有的人工智能服务、工具和所有者进行编目。在资产管理中为特定库存指定标签。

将人工智能组件包括在软件材料清单（SBOM）中，这是一个与应用程序相关的所有软件组件、依赖项和元数据的综合列表。

• 目录AI数据源和数据的敏感性（受保护、机密、公开）
• 确定是否需要对部署的人工智能解决方案进行测试或与红队合作，以确定当前的攻击面风险。
• 创建人工智能解决方案—入职流程。

按照SBOM的要求，确保内部或外部都有熟练的IT管理人员。

人工智能安全和隐私培训

• 积极与员工接触，了解并解决LLM计划中的问题。
• 就组织在组织流程、系统、员工管理和支持以及客户参与中使用预测性或生成式人工智能，以及如何管理、管理和解决其使用风险，建立一种公开透明的沟通文化。
• 入职培训所有用户的道德、责任和法律问题，如保修、许可和版权。
• 更新安全意识培训，将GenAI相关威胁包括在内。语音克隆和图像克隆，以及预期会增加鱼叉式网络钓鱼攻击
• 任何采用的GenAI解决方案都应包括部署管道的DevOps和网络安全培训，以确保人工智能的安全和保障。

建立商业案例

坚实的商业案例对于确定任何拟议的人工智能解决方案的商业价值、平衡风险和收益以及评估和测试投资回报至关重要。有大量的潜在用例；提供了几个例子。

• 增强客户体验
• 更高的运营效率
• 更好的知识管理
• 加强创新
• 市场调查和竞争对手分析
• 文档创建、翻译、摘要和分析

治理

LLM中的公司治理需要为组织提供透明度和问责制。识别可能熟悉该技术或业务所选用例的人工智能平台或流程所有者不仅是建议的，而且也是必要的，以确保足够的反应速度，防止对成熟的企业数字流程造成附带损害。

• 建立组织的人工智能RACI图表（谁负责，谁负责，应该咨询谁，应该通知谁）。
• 记录并分配组织内的人工智能风险、风险评估和治理责任。
• 制定有关数据分类和使用限制的数据管理政策，包括技术强制执行。模型应仅利用为系统任何用户的最低访问级别分类的数据。例如，更新数据保护策略以强调不要将受保护或机密数据输入到非业务管理的工具中。
• 创建由既定政策支持的人工智能政策（例如，良好行为标准、数据保护、软件使用）
• 发布各种生成人工智能工具的可接受使用矩阵，供员工使用。
• 记录组织从生成LLM模型中使用的任何数据的来源和管理。

法律

人工智能的许多法律含义都是不明确的，而且可能代价高昂。IT、安全和法律合作伙伴关系对于发现差距和解决模糊决策至关重要。

• 确认产品保修在产品开发流程中是明确的，以指定谁负责人工智能的产品保修。
• 审查和更新现有条款和条件以考虑GenAI的任何因素。
• 审查AI EULA协议。GenAI平台的最终用户许可协议在处理用户提示、输出权利和所有权、数据隐私、合规性、责任、隐私以及输出使用限制方面有很大不同。
• 组织针对客户的EULA，修改最终用户协议，以防止组织通过人工智能生成的内容承担与抄袭、偏见传播或侵犯知识产权有关的责任。
• 审查用于代码开发的现有人工智能辅助工具。如果聊天机器人被用来为产品生成代码，那么聊天机器人编写代码的能力可能会威胁到公司对其产品的所有权。例如，它可能会对生成内容的状态和保护以及谁拥有使用生成内容的权利提出质疑。
• 审查知识产权的任何风险。如果在生成过程中使用了不当获取的数据，聊天机器人生成的知识产权可能会受到威胁，而生成过程受到版权、商标或专利保护。如果人工智能产品使用侵权材料，就会给人工智能的输出带来风险，从而可能导致知识产权侵权。
• 审查任何有赔偿条款的合同。赔偿条款试图将导致责任的事件的责任推给对该事件负有更大责任或最有可能阻止该事件的人。建立护栏，以确定人工智能的提供商或其用户是否导致了该事件，从而导致责任。
• 审查人工智能系统造成的潜在伤害和财产损失的责任。
• 审查保险范围。传统的（D&O）责任和商业一般责任保险政策可能不足以充分保护人工智能的使用。
• 识别任何版权问题。版权需要人类作者身份。如果LLM工具被滥用，组织也可能对抄袭、传播偏见或侵犯知识产权负责。
• 确保为承包商制定协议，并在任何开发或提供的服务中适当使用人工智能。

在可能存在可执行权利问题或存在知识产权侵权问题的情况下，限制或禁止员工或承包商使用生成人工智能工具。

• 用于员工管理或招聘的评估和人工智能解决方案可能会导致不同的治疗索赔或不同的影响索赔。
• 确保人工智能解决方案在未经适当同意或授权的情况下不会收集或共享敏感信息。

法规

《欧盟人工智能法案》预计将是第一部全面的人工智能法律，但最早将于2025年适用。《欧盟通用数据保护条例》（GDPR）没有专门针对人工智能，但包括数据收集、数据安全、公平和透明、准确性和可靠性以及问责制的规则，这些规则可能会影响GenAI的使用。在美国，人工智能监管被纳入更广泛的消费者隐私法。美国已有10个州通过了法律或法律将于2023年底生效。

美国平等就业机会委员会（EEOC）、消费者金融保护局（CFPB）、联邦贸易委员会（FTC）和美国司法部民权司（DOJ）等联邦组织正在密切监测招聘公平性。

• 确定国家、州或其他政府特定的人工智能合规要求。
• 确定限制员工电子监控和就业相关自动化决策系统的合规要求（佛蒙特州、加利福尼亚州、马里兰州、纽约州、新泽西州）
• 确定面部识别同意书和所需人工智能视频分析的合规要求（伊利诺伊州、马里兰州、华盛顿州、佛蒙特州）
• 审查正在使用或正在考虑用于员工招聘或管理的任何人工智能工具。
• 确认供应商遵守适用的人工智能法律和最佳实践。

在招聘过程中询问并记录任何使用人工智能的产品。询问该模型是如何训练的，以及如何对其进行监控，并跟踪为避免歧视和偏见而做出的任何更正。

• 询问并记录包括哪些调节选择。
• 询问并记录供应商是否收集机密数据。
• 询问供应商或工具在入职前如何存储和删除数据，以及如何规范面部识别和视频分析工具的使用。

与AI一起审查可能引发合规问题的其他组织特定监管要求。例如，1974年的《雇员退休收入保障法》对退休计划有信托义务要求，而聊天机器人可能无法满足这些要求。

使用或实现大型语言模型解决方案

• 威胁模型LLM组件和体系结构信任边界。
• 数据安全，验证如何根据敏感度对数据进行分类和保护，包括个人和专有业务数据。（用户权限是如何管理的，有哪些保护措施？）
• 访问控制，实施最低权限访问控制，并实施纵深防御措施
• 培训管道安全，需要对培训数据治理、管道、模型和算法进行严格控制。
• 输入和输出安全性，评估输入验证方法，以及如何过滤、净化和批准输出。
• 监控和响应，映射工作流、监控和响应以了解自动化、日志记录和审核。确认审核记录是安全的。

在生产发布过程中包括应用程序测试、源代码审查、漏洞评估和与红队合作。

• 检查LLM模型或供应链中的现有漏洞。
• 研究威胁和攻击对LLM解决方案的影响，如即时注入、敏感信息的发布和流程操纵。
• 调查攻击和威胁对LLM模型的影响，包括模型中毒、数据处理不当、供应链攻击和模型盗窃。
• 供应链安全、请求第三方审计、渗透测试和第三方供应商的代码审查。（最初和持续）
• 基础设施安全，询问供应商多久执行一次恢复能力测试？在可用性、可扩展性和性能方面，他们的SLA是什么？
• 更新事件响应行动手册，并在桌面演习中包括LLM事件。
• 确定或扩展指标，将生成性网络安全人工智能与其他方法进行比较，以衡量预期生产力的提高。

测试、评估、验证和确认（TEVV）

NIST人工智能框架建议在整个人工智能生命周期中采用连续的TEVV流程，包括人工智能系统操作员、领域专家、人工智能设计师、用户、产品开发人员、评估人员和审计员。TEVV包括一系列任务，如系统验证、集成、测试、重新校准和持续监测定期更新，以应对人工智能系统的风险和变化。

在整个人工智能模型生命周期中建立持续的测试、评估、验证和验证。

定期提供人工智能模型功能、安全性、可靠性和稳健性的执行指标和更新。

模型卡和风险卡

模型卡通过提供有关人工智能系统设计、功能和约束的标准化文档，帮助用户理解和信任人工智能系统，使他们能够制作出有教育意义和安全的应用程序。风险卡通过公开解决潜在的负面后果（如偏见、隐私问题和安全漏洞）来补充这一点，从而鼓励采取积极主动的方法来预防伤害。这些文件对开发者、用户、监管机构和伦理学家同样至关重要，因为它们建立了一种合作氛围，在这种氛围中，人工智能的社会影响得到了认真的解决和处理。这些卡片由创建模型的组织开发和维护，在确保人工智能技术符合道德标准和法律要求方面发挥着重要作用，从而在人工智能生态系统中进行负责任的研究和部署。

模型卡包括与ML模型相关的关键属性：

• 模型细节：关于模型的基本信息，即名称、版本和类型（神经网络、决策树等），以及预期用例。

• 模型体系结构：包括对模型结构的描述，如层的数量和类型、激活功能和其他关键体系结构选择。

• 训练数据和方法：关于用于训练模型的数据的信息，如数据集的大小、数据源以及所使用的任何预处理或数据增强技术。它还包括有关训练方法的详细信息，如使用的优化器、损失函数和任何调整的超参数。

• 性能指标：关于模型在各种指标上的性能的信息，如准确性、精确度、召回率和F1分数。它还可以包括关于模型如何在数据的不同子集上执行的信息。

• 潜在偏差和限制：列出模型的潜在偏差或限制，如训练数据不平衡、过拟合或模型预测中的偏差。它还可能包括有关模型局限性的信息，例如其推广到新数据的能力或其对某些用例的适用性。

• 负责任的人工智能考虑因素：与模型相关的任何道德或负责任的AI考虑因素，如隐私问题、公平性和透明度，或模型使用的潜在社会影响。它还可能包括对模型进行进一步测试、验证或监控的建议。

• 查看模型模型卡
• 审查风险卡（如有）
• 建立跟踪和维护任何已部署模型的模型卡的流程，包括通过第三方使用的模型

RAG：大型语言模型优化

微调是优化预训练模型的传统方法，它涉及对新的、特定于领域的数据重新训练现有模型，并根据任务或应用程序的性能对其进行修改。微调成本高昂，但对提高性能至关重要。

检索增强生成（RAG）已经发展成为一种更有效的方式，通过从最新的可用知识源中检索相关数据来优化和增强大型语言模型的能力。RAG可以针对特定领域进行定制，优化特定领域信息的检索，并根据专业领域的细微差别调整生成过程。RAG被视为LLM优化的一种更有效、更透明的方法，特别是对于标记数据收集有限或昂贵的问题。RAG的主要优势之一是支持持续学习，因为新信息可以在检索阶段不断更新。

RAG实现涉及几个关键步骤，从嵌入模型部署、对知识库进行索引，到检索最相关的文档以进行查询处理。基于矢量数据库对相关上下文进行有效检索，矢量数据库用于存储和查询文档嵌入。

RAG参考

• 增强生成（RAG）和LLM：示例
• 12 RAG痛点和建议的解决方案

AI红队

AI Red Teaming是对AI系统的对抗性攻击测试模拟，以验证不存在任何可被攻击者利用的现有漏洞。这是包括拜登政府在内的许多监管和人工智能管理机构建议的做法。单独的红队并不是验证与人工智能系统相关的所有现实世界危害的全面解决方案，应该包括在其他形式的测试、评估、验证和验证中，如算法影响评估和外部审计。

将红队测试纳入人工智能模型和应用程序的标准实践。

资源

 

OWASP大型语言模型应用程序前十名

4.1：大型语言模型应用程序的OWASP前10名图片

OWASP十个大型语言模型应用程序可视化

图4.2:OWASP大型语言模型应用程序前10名的可视化图像

OWASP资源使用LLM解决方案扩展了组织的攻击面，并提出了新的挑战，需要特殊的战术和防御。它还带来了与已知问题类似的问题，并且已经制定了网络安全程序和缓解措施。将LLM网络安全与组织既定的网络安全控制、流程和程序相结合，可以使组织减少其受到威胁的脆弱性。OWASP集成标准提供了它们如何相互集成。

表4.1:OWASP资源

MITRE资源LLM威胁频率的增加强调了弹性优先方法在防御组织攻击面方面的价值。现有TTPS与LLM对抗威胁和缓解中的新攻击面和能力相结合。MITRE保持着一个完善且被广泛接受的机制，用于根据真实世界的观察来协调对手的战术和程序。

组织的LLM安全策略与MITRE ATT&CK和MITRE ATLAS的协调和映射使组织能够确定当前流程（如API安全标准）涵盖的LLM安全或存在的安全漏洞。

MITRE ATT&CK（对抗性战术、技术和常识）是由MITRE公司制作的一个框架、数据矩阵集合和评估工具，旨在帮助组织了解其网络安全在整个数字攻击面上的工作情况，并发现以前从未发现的漏洞。它是一个全世界都在使用的知识库。MITRE ATT&CK矩阵包含对手为实现特定目标而使用的策略集合。在ATT&CK矩阵中，这些目标被归类为战术。目标按攻击顺序概述，从侦察开始，一直到最终的渗透或影响目标。

MITRE ATLAS代表“人工智能系统的对抗性威胁景观”，是一个基于不良行为者攻击机器学习（ML）系统的真实例子的知识库。ATLAS基于MITRE ATT&CK体系结构，其战术和程序与ATT&CK中的战术和程序相辅相成。

表4.2:MITRE资源

AI漏洞存储库

 

表4.3：工智能漏洞存储库

AI采购指南

表4.4:AI采购指南