链桨PaddleDTX-基于区块链的联邦学习

目录

链桨PaddleDTX-基于区块链的联邦学习

一、项目简介

1.1 多方安全计算网络

1.2 去中心化存储网络

1.3 区块链网络

二、纵向联邦学习

2.1 数据准备

2.2 样本对齐

2.3 训练过程

2.4 预测过程

三、安装

3.1 通过Docker安装

3.2 源码安装

四、测试

五、在AIStudio项目中部署链桨PaddleDTX实践

PaddleDTX源码编译和安装

环境准备

下载go程序、解压，并设置环境变量

下载PaddleDTX源代码并编译

源码编译XuperDB

编译Distributed AI

编译区块链合约

网络部署

部署区块链网络

编译超级链XuperChain

启动超级链xuperchain

创建部署智能合约

生成部署配置文件

部署 XuperDB

查看服务状态

部署Distributed AI

启动执行节点

链桨纵向联邦学习训练-前期准备

操作XuperDB

创建命名空间

上传训练数据

链桨纵向联邦学习训练

开始训练

链桨纵向联邦学习预测

上传预测文件

开始预测

获取预测结果

计算均方根误差

附录1 超级链存证保全函使用

附录2调试纠错

调试提醒

环境变量设置出问题

xdb make报错

创建区块链账户报错：

执行区块链转 token报错

报错address：no such file or directory

BML CodeLab中插入视频但是不显示

在安装xuperchain的时候报错

超级链执行报错sh control.sh start

验证时报错

创建合约块的时候报错：

安装合约的时候报错

启动数据存储节点服务时报错

继续处理启动数据存储节点服务时报错

xdb启动服务报错：Config Unmarshal error: yaml: unmarshal errors

创建命名空间报错

创建命名空间报错2

创建文件存储命名空间时报错

docker里面没有ping等网络命令

双存储双数据持有节点双执行节点

创建命名空间报错

发起训练任务报错

快速训练文档中，上传文件报错

---

链桨PaddleDTX-基于区块链的联邦学习

当前，在数据井喷、算力突破和深度学习等算法推动下，人工智能技术日趋成熟，成为新一轮科技革命和产业革命的重要驱动力量，并越来越深入地与产业相融合,促进产业智能化。然而随着AI的逐步应用，数据安全、算法安全、算法的可解释性等问题，备受各界关注。

在此背景下，“链桨”通过区块链、去中心化存储、可信计算、分布式机器学习四大核心技术加持，实现数据从产生、存储到使用的全流程安全可信，保证分布式AI训练过程可追踪、可审计。

首先，链桨基于高性能、高易用、高扩展性的XuperChain自研区块链技术构建了分布式底层框架，实现数据全流程上链存证，不可篡改、可追溯。其次，通过去中心化存储，让各节点独立具备数据访问授权能力，实现了数据多副本加密存储，保障数据安全存储。再次，利用TEE可信计算，搭建可信计算环境，在保障数据安全且隐私不泄露的前提下完成多方数据协同计算，实现“数据可用不可见”和“计算过程可信可追溯” 。最后，通过基于飞桨的分布式机器学习，实现对未来结果的预测。

此外，“链桨”还支持混合云边缘云部署&#