赞
踩
由于项目需要,最近研究了一下联邦学习框架。项目要求把新闻推荐算法部署到联邦学习框架上。我们选用了Pysyft联邦学习框架,以及微软MIND数据集及算法。
以下为利用到的开源数据和代码等。
Pysyft框架:https://github.com/OpenMined/PySyft
Pysyft0.2.x版本:https://github.com/OpenMined/PySyft/tree/syft_0.2.x
MIND数据集:https://msnews.github.io/
MIND推荐算法:https://github.com/microsoft/recommenders
MIND推荐算法torch版本:https://github.com/yusanshi/NewsRecommendation
在做这个项目过程中,syft刚好从0.2
版本更新到了0.3
版本。两个版本之间有较大差异,0.3
不兼容0.2
的代码。并且0.3
的文档开发者还没有完成,只有少量的examples。
基于此,我们选用了0.2.x
版本的Pysyft完成我们的项目。该版本Pysyft有详细的教程。
Pysyft 0.2.x 采用python>=3.6, pytorch=1.4.0
。
基本流程可以参考CNN做MNIST分类。
# NEW: import the Pysyft library
import syft as sy
# NEW: hook PyTorch ie add extra functionalities to support Federated Learning
hook = sy.TorchHook(torch)
# NEW: define remote worker bob
bob = sy.VirtualWorker(hook
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。