生成式人工智能对信息安全的挑战及解决方案_机器智能与信息处理和信息安全

概念

生成式人工智能（Artificial Intelligence，AI）基于训练数据以及用户提示词创建新内容的能力，在教育、娱乐、巡检、医疗保健和科学研究等多个领域提供变革潜力，激发起前所未有的关注度和创造力浪潮，引发公众、学术和政府层面的广泛讨论。生成式AI作为AI演化过程中的重要突破，为引领产业革新和数字化变革奠定了坚实的基础。根据麦肯锡报告，生成式AI每年或将为全球GDP增加2.6万亿~4.4万亿美元。

生成式人工智能的特点

1.服务形态多元

生成式AI基于通用和跨场景能力，形成多元化的服务形态。在应用层面，传统的应用服务正在借助生成式AI的理解、生成、逻辑和记忆能力快速更新，以更加智能、高效、便捷的方式为用户提供服务，或将迎来应用上的爆发式增长。

2. 交互方式革新

生成式AI的多模态处理和理解能力，为人机交互带来了前所未有的方式。人们从使用键盘、鼠标等与电脑交互，到使用手指操作屏幕与移动终端交互，再到用唤醒词与智能音箱交互，人机交互从识别机器指令，到识别人的动作、语音、环境，不断朝着更贴近人类习惯的交互方式演进。

3 服务模式复杂

生成式AI的涌现推动数字技术与传统服务快速融合，使得服务模式更加复杂多样。首先，生成式AI服务在响应用户需求时，表现出较高的实时性和即时性。这种短时间内对用户数据的快速处理方式，可能会增加隐私泄露的风险。其次，生成式AI服务的“幻觉”问题[8]会造成生成内容不可控，攻击者可能利用合成人脸图像、模拟语音等技术，生成虚假的侵害用户权益的视频、音频、图像、文本等，造成精神及财产损害。

AI模型自身带来的风险

1. 透明度低、可解释性差

AI模型的构建主要基于深度神经网络算法，具有透明度低、可解释性差等特点，用户往往难以理解AI模型的决策过程，这一特点延续到了生成式AI模型之中。可解释性差导致AI模型的实际应用困难，同时给用户带来一定风险。例如，在医疗诊断、自动驾驶等需要模型高可靠和准确性的场景中，如果无法对AI模型的决策以及对个人信息的处理过程进行有效的可解释性评估，势必造成潜在安全隐患，降低用户信任度，同时影响模型的实际应用和推广。

2. 训练数据难清理

生成式AI在模型训练和学习前需对数据集进行清理，去除其中的错误信息、冗余信息、残缺信息等，但对于个人信息的清洗效果较差。一方面，由于个人信息的特异性，当前没有行之有效的个人信息清洗算法，存在一定的技术悖论，即想要清洗个人信息必先知之为个人信息。另一方面，对于生成式AI的海量数据集，通过人工方式清洗数据的成本极高，且存在个人信息二次泄露风险。

3 防御措施不全面

攻击者通过对AI模型生命周期的各个阶段构造攻击方法，如投毒攻击、提示注入、模型窃取等，试图获取用户隐私。生成式AI针对这些攻击以及潜在风险构造相应安全防御机制，如对抗训练、模型加密等。但正如没有绝对安全的操作系统，同样也没有绝对安全的AI模型。

4 遗忘能力难评估

生成式AI模型具备一定记忆能力，能够记忆和回溯特定训练数据集，其中可能包含潜在的个人敏感信息。即使数据被去除个人信息，生成式AI仍可能从匿名或去标识的信息中，通过数据关联和推理推断出个人的身份和特征信息。此外，攻击者可能通过构造带有启发性的输入问句进行攻击，诱导AI模型输出记忆数据，进而获取模型训练数据集，从而导致更大规模的泄露风险。

解决方案

1. 监管治理层面

首先，针对个人信息进行细致化的分类分级管理，特别是针对不同服务场景下的不同敏感程度的个人信息进行差异化管理，制定相应的信息披露可接受度规范，以保障用户对个人信息处理的知情权和选择权。

2.  标准规范层面

为覆盖生成式AI模型设计、训练和应用不同阶段的保护要求和策略，构建如图1所示基于生成式AI全生命周期的个人信息保护标准体系。

3 企业管理层面

针对个人信息安全风险，企业应加强个人信息保护意识和责任意识，建立全面的内部管理制度，并保证制度实施的规范性。在AI模型设计阶段，企业应加强内部管理，建立健全的信息安全管理制度，包括制定明确的数据使用政策和流程、加强员工个人信息保护意识培训，以及进行定期的风险评估和安全审计，旨在从源头降低信息泄露的风险。在AI模型训练阶段，企业应实施严格的权限管理和数据加密措施，确保个人信息在传输和处理过程中的安全性，并研究使用差分隐私等隐私保护技术加强个人信息安全。

超维智能巡检机器人的安全性

数据安全方面：机器人与机器人管理系统之间采用专用频段无线连接，数据传输使用SSL进行加密，具备数据加密、权限管理和备份恢复等功能，以确保数据的安全性和完整性。

运行安全方面：机器人本体设置了紧急关停按钮，当运维人员发现异常时，可第一时间触发急停。

结构安全方面：机器人使用锂离子电池为动力，并在结构上对电池加装特殊材料，避免电池受冲击导致的意外发生，同时软件层面对BMS进行实时监控，实时采集并监控动力电池组的荷电状态，动态监测充电过程中电池组中每块电池的电压和温度、放电电流及电池包总电压，防止电池发生过度充电或放电，确保电池组中各个电池达到均衡一致的状态，提高电池的利用率。