论文解读 | AAAI 2024：不可靠网络下的高效分布式牛顿法研究

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

作者简介

文茗，复旦大学硕士生

内容简介

资源受限设备中的分布式优化既需要通信效率又需要较快的收敛速度。与一阶方法相比，牛顿型方法因其优越的收敛速度而变得更可取。在本文中，我们研究了在不可靠网络上的二阶分布式优化方面的新问题。通常，工作设备是功率受限的或在不利的无线信道中运行，在上行链路传输到服务器期间经历丢包。我们的场景在现实世界中很常见，并导致经典分布式优化方法的不稳定性，特别是二阶方法，因为它们对本地Hessian矩阵不精确的敏感性。为了实现对高丢包、通信效率和快速收敛速度的鲁棒性，我们提出了一种新的分布式二阶方法，称为RED-New (Packet loss Resilient Distributed Approxiton)。RED-New的每次迭代包括两轮轻量级和有损传输，其中服务器使用新开发的缩放策略聚合本地信息。我们严格证明了RED-New的改进线性二次收敛速度。实验结果表明，它优于一阶和二阶基线，特别是它对至少40%的丢包率的容忍度。

论文内容

Distributed Newton method

本文所考虑的分布式场景是有中心化的，且数据并行的分布式训练架构。在这个系统中，每个工作节点会使用本地的数据来计算参数。同时，该节点与中心服务器进行双向的通讯，一方面，会将计算得到的参数上传到中心服务器，另一方面，也会接收来自中心服务器的更新或者聚合后的参数。整个系统的优化目标是最小化全局的目标函数