VALSE 2024 Workshop报告分享┆面向隐私保护数据的联邦因果关系推断

2024年视觉与学习青年学者研讨会（VALSE 2024）于5月5日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道，方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人演讲内容的理解或转述，可能与报告人的原意有所不同，敬请读者理解；如报告人认为文章与自己报告的内容差别较大，可以联系公众号删除。

本文主要对合肥工业大学俞奎教授所做的Workshop报告《面向隐私保护数据的联邦因果关系推断》进行总结和分享。

1.报告人简介

俞奎，合肥工业大学计算机与信息学院教授，博士生导师。研究领域包括因果推断与可信机器学习、知识图谱与自然语言处理、图像处理与视觉问答等。

2.报告概览

因果关系解释了数据中所蕴含的本质结构和规律，是人类认知的基石。但是由于存在用户隐私泄露风险，医院、保险、银行等高质量数据产生与收集企业不愿意共享原始数据，从而形成数据孤岛。这使得已有的因果结构学习方法无法在保护数据隐私的情况下从数据中学习因果关系。而联邦学习作为一种新型机器学习框架，采用“数据不动，模型动”的策略，让多个参与方在保护数据隐私的前提下进行分布式机器学习。联邦因果结构学习成为隐私保护数据理解与处理的新兴研究课题。俞奎老师在本次报告中介绍了三个算法。

3.内容整理

俞奎教授的报告主要为以下三个算法。

(1)隐私保护因果结构学习FedPC算法

FedPC采用一种新颖的逐层聚合策略，这种逐层策略使得每个客户端可以在服务器上共享和更新其在每一层学到的骨架参数，而无需共享原始数据。此外，这种策略可以保证子程序在不需要任何特殊参数的情况下自然收敛。

(2)样本异质的联邦因果结构学习FedACD算法

在异构联邦学习场景中，来自不同客户端的样本可能擅长学习不同变量之间的因果关系。俞奎教授团队称这种现象为样本质量异构型。因此设计了样本异质的联邦因果结构学习FedACD算法。该算法分为以下两阶段：

1)联邦因果骨架学习

a.在每个客户端的本地数据上学习全局因果骨架

b.每个客户端对于学习到的骨架进行选择性掩码

c.服务器聚合各个客户端上掩码后的因果骨架

d.迭代执行a~c，直至a~c收敛

2)联邦骨架定向（聚合打分定向）

a.在每个客户端上分别打分定向骨架中无向边

b.服务器聚合各个客户端上的DAGs

(3)隐私保护局部-全局因果结构学习FedCSL算法

现有的联邦全局因果结构学习算法面临两个挑战，该算法一方面在每个客户端上都是一个NP-hard问题，且面临计算时间过高问题。另一方面等价权重会导致含有样本量较小的客户端学到的因果结构干扰到最终因果结构的准确性。而FedCSL设计了一种联邦的局部到全局学习策略，通过联邦局部因果邻居学习、联邦全局骨架构建、联邦骨架定向三步有效解决高维数据计算时间过高问题。此外，还设计了一种在保护数据隐私的前提下感知每个客户端中数据高低的策略，并基于该策略对不同客户端上学到的结果进行加权整合从而得到更加精确的学习结果。