联邦学习中的安全聚合SMPC

作者：知新_RL | 2024-03-05 11:33:46

踩

安全聚合

一、背景

1.1 联邦聚合与FedAVG

1.2 FATE

1.3 密钥协商（Key Agreement）

1.4 秘密共享（Secret Sharing）

三、FATE安全聚合（SecureAggregation）的实现

3.1 FATE的安全聚合机制

3.2 FATE安全聚合的实现

四、总结

记录下联邦学习中的安全聚合机制SMPC。

一、背景

1.1 联邦聚合与FedAVG

《Advances and Open Problems in Federated Learning》给出了联邦学习的一个典型的流程：

客户端选择：服务器从一组符合资格要求的客户端中采样；
传播：选定的客户端从服务器下载当前模型权重和训练程序；
客户端本地训练：每个选定的设备都通过执行训练程序在本地计算对模型进行更新；
聚合：服务器收集客户端的更新；
模型更新：服务器根据聚合的结果更新模型；

对于聚合阶段，所有的梯度或者模型都会发给协调方（聚合服务器），由协调方统一进行FedAVG（梯度平均、模型平均等），此过程必然为联邦学习引入了效率和安全之类的问题。相应的存在一些优化机制，包括：增加隐私的安全聚合、为了通讯效率而对聚合进行有损压缩、使用差分隐私来增加噪声等。

本文主要关注的是联邦学习中的安全聚合算法。

1.2 FATE

联邦学习框架FATE中也使用了安全聚合机制。

例如，横向联邦中存在安全聚合（SecureAggregation），

目的：保证协调者只能拿到最终的模型，但不能获取特定Host的模型；

原理：上传模型时，增加随机数R；保证所有的随机数加起来的时候又能抵消；

例如，对于横向神经网络：

1.3 密钥协商（Key Agreement）

DH密钥交换的目的，是让想要通信的Alice、Bob双方，他们之间能够拥有一个私密的密钥，这个密钥只有A和B两个人知道。DH密钥交换包含如下步骤：

1.4 秘密共享（Secret Sharing）

秘密分享通过把秘密进行分割，并把秘密在n个参与者中分享，使得只有多于特定t个参与者合作才可以计算出或是恢复秘密，而少于t个参与者则不可以得到有关秘密。Shamir算法是秘密共享协议的一种实现。

对于sharmir(t,w)方案，就是指准备w把钥匙，至少要t把钥匙才能开启。

应用举例如下：


package main
 
import (
 "fmt"
 "github.com/SSSaaS/sssa-golang"
 "os"
)
 
// sharmir(t,w)：准备w把钥匙，至少要t把钥匙才能开启
func main() {
 
 secret := "0y10VAfmyH7GLQY6QccCSLKJi8iFgpcSBTLyYOGbiYPqOpStAf1OYuzEBzZR"
 w := 5
 t := 3
 
 // 分割秘密
 secretShares, err := sssa.Create(t, w, secret)
 if err != nil {
  fmt.Printf("Create err: %v\n", err)
  os.Exit(-1)
 }
 fmt.Printf("secretShares: %v\n", secretShares)
 
 // 选择其中的3份
 testShares := []string{
  secretShares[0],
  secretShares[1],
  secretShares[2],
 }
 // 恢复秘密
 combined, err := sssa.Combine(testShares)
 if err != nil {
  fmt.Printf("Combine err: %v\n", err)
  os.Exit(-1)
 }
 if combined != secret {
  fmt.Printf("Fatal: combining returned invalid data\n")
  os.Exit(-1)
 }
}