隐私计算-联邦学习_隐私计算联邦学习

作者：人工智能uu | 2024-08-01 02:23:36

踩

隐私计算联邦学习

一、纵向联邦学习

联合多个参与者的共同样本的不同数据特征进行联邦学习，即各个参与者的训练数据是纵向划分的，称为纵向联邦学习，纵向联邦学习也称为样本对齐的联邦学习（Sample-Aligned Federated Learning），即纵向联邦学习的参与者的训练样本是对齐的

在这里插入图片描述

纵向联邦逻辑回归举例：

在这里插入图片描述

https://fate.readthedocs.io/en/latest/federatedml_component/logistic_regression/

纵向联邦xgboost流程图:

在这里插入图片描述

https://fate.readthedocs.io/en/latest/federatedml_component/ensemble/

二、横向联邦学习

联合多个参与者的具有相同特征的多行样本进行联邦学习，即各个参与者的训练数据是横向划分的，称为横向联邦学习。图2给出了一个横向划分表格的示例。横向联邦使训练样本的总数量增加。

在这里插入图片描述

横向联邦训练流程：

步骤1：各参与方在本地计算模型梯度，并使用同态加密、差分隐私或秘密共享等加密技术，对梯度信息进行掩饰，并将掩饰后的结果（简称为加密梯度）发送给聚合服务器。
步骤2：服务器进行安全聚合（secure aggregation）操作，如使用基于同态加密的加权平均。
步骤3：服务器将聚合后的结果发送给各参与方。
步骤4：各参与方对收到的梯度进行解密，并使用解密后的梯度结果更新各自的模型参数。

在这里插入图片描述

三、隐私保护协议

3.1 全同态加密

全同态加密（Fully Homomorphic Encryption，FHE）是一种加密技术，允许在加密的状态下对密文进行运算，最终得到的结果在解密之后与原始明文的运算结果是完全相同的。这种加密技术可以实现云计算中的数据隐私保护，同时保持数据可用性。

传统的加密技术只能在明文状态下进行运算，而全同态加密技术允许在密文状态下进行运算，因此可以避免在计算过程中泄露敏感信息。它可以实现一系列复杂的计算操作，如加法、减法、乘法、逻辑运算等。

全同态加密是一项非常重要的技术，但是在实际应用中，由于其计算复杂度很高，导致效率问题仍然存在。因此，目前的研究方向是如何提高全同态加密的效率，以便更广泛地应用于实际场景中。

ckks 全同态代码示例

import tenseal as ts

# 初始化加密参数
context = ts.context(ts.SCHEME_TYPE.CKKS, poly_modulus_degree=8192, coeff_mod_bit_sizes=[60, 40, 40, 60])
context.global_scale = 2 ** 40

# 创建秘钥
sk = ts.context.NTTVector(secret=True, context=context)
sk.uniform(1.0 / context.max_scale)

# 创建加密器和解密器
public_key = sk.copy()
public_key.make_unit_vector()
encryptor = ts.encryptor(context, public_key)
decryptor = ts.decryptor(context, sk)

# 加密明文
a = [3.14159265359]
b = [2.71828182846]
enc_a = encryptor.encrypt(ts.plain_tensor(a))
enc_b = encryptor.encrypt(ts.plain_tensor(b))

# 密文加法
enc_c = enc_a + enc_b

# 解密结果
dec_c = decryptor.decrypt(enc_c)
result = dec_c[0][0]

print(result)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

3.2 半同态加密

半同态加密是一种加密技术，它可以对一些运算进行加密，使得加密后的结果仍然可以在密文状态下进行某些操作，而不需要解密密文。半同态加密可以支持一些简单的加法和乘法运算，但是不支持复杂的运算如多项式求解和逻辑运算等。

https://en.wikipedia.org/wiki/Paillier_cryptosystem

Paillier半同态加密的示例代码：

import random
from phe import paillier

# 生成密钥对
public_key, private_key = paillier.generate_paillier_keypair()

# 明文加密
a = 42
b = 37
enc_a = public_key.encrypt(a)
enc_b = public_key.encrypt(b)

# 密文加法
enc_c = enc_a + enc_b

# 解密结果
dec_c = private_key.decrypt(enc_c)
print(dec_c)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

3.3 差分隐私

差分隐私 (differential privacy) 是一种保护个人隐私的方法，它可以通过对原始数据添加一些随机噪声，来使得不同数据集之间的差异不至于泄露个人隐私。简单来说，差分隐私是一种加噪声的隐私保护技术，可以在保护个人隐私的同时，尽可能地保留数据的有用信息。

具体来说，差分隐私会在对数据进行处理前，将其添加一些随机噪声，以使得处理后的结果不会直接泄露原始数据。这些噪声通常是随机生成的，或者可以基于某些统计模型生成。添加的噪声的强度可以通过隐私参数 epsilon来控制，这个参数越小，噪声就越强，隐私保护就越好，但是对数据的有用信息的保留就越少。相反，隐私参数越大，噪声就越弱，隐私保护就越差，但是对数据的有用信息的保留就越多。

差分隐私可以应用在许多场景中，例如数据挖掘、机器学习、社交网络等。其中，最典型的应用是在隐私保护数据发布上。通过差分隐私技术，我们可以在不泄露原始数据的前提下，发布处理后的数据，以供其他人使用。

差分隐私的 Python 代码示例，使用了 PyDP 库：

from pydp.algorithms.laplacian import BoundedMean
from pydp.algorithms.laplacian import BoundedSum
from pydp.distributions import Laplace

# 加噪声示例
def add_noise(data, epsilon):
  # 设置数据范围和隐私参数
  lower, upper = 0, 100
  sensitivity = upper - lower
  # 生成拉普拉斯分布
  laplace = Laplace(0, sensitivity / epsilon)
  # 生成加噪声器
  noise = laplace.sample()
  # 对数据加噪声
  noisy_data = data + noise
  # 对加噪声后的数据进行截断
  return max(lower, min(noisy_data, upper))

# 计算平均数示例
def compute_mean(data, epsilon):
  # 设置数据范围和隐私参数
  lower, upper = 0, 100
  sensitivity = upper - lower
  # 初始化差分隐私算法
  bounded_mean = BoundedMean(lower, upper, epsilon=epsilon)
  # 对数据进行处理并加噪声
  result = bounded_mean.quick_result(data)
  # 对加噪声后的结果进行截断
  return max(lower, min(result, upper))

# 计算和示例
def compute_sum(data, epsilon):
  # 设置数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33