热门标签
热门文章
- 1处理安装uni-ui依赖一直安装不上_uni-ui npm安装
- 2AirpodsPro 使用技巧_airpods查看使用时长
- 3[iOS] 开发上传App Store时候一直卡在 Authenticating with the iTunes Store 的解决办法_app store上传app 卡住了
- 4BERT模型—3.BERT模型在ner任务上的微调_ner的标准微调过程
- 5docker的精髓理解
- 6速通Arch+Windows双系统安装_arch系统
- 7机器人运动学（四）：逆向运动学
- 8ImportError: cannot import name ‘Xxxx‘ from partially initialized module ‘xx.xx.xx‘_python importerror: cannot import name 'chapterapp
- 9docker pull命令实现与镜像存储（3）_context.cancelfunc docker
- 10软件测试——测试的分类（重点：黑盒测试、白盒测试、单元测试、集成测试、系统测试）_单元测试,集成测试,系统测试
当前位置: article > 正文
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
作者：寸_铁 | 2024-08-16 06:57:17
赞
踩
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
目录
FSDP（Fully Sharded Data Parallel）
有关去中心化算路大模型的一些误区
如果去中心化训练是可行的，那么基础模型开发、模型治理和人工智能安全研究的轨迹都会发生重大变化。很难低估其影响。在协议中创建的模型的真正去中心化治理 变得可行，模型研究加速，不再局限于大型实验室，基础模型提供者的新兴寡头垄断受到挑战，基础模型访问得到保证，并开辟了通往下一个几个数量级大小模型的道路。
低带宽互连导致训练速度太慢
今天的共识是，使用真正去中心化的方法训练基础规模的模型实际上是不可行的。怀疑论者通常支持这一观点，理由是训练的通信强度和节点之间的低带宽连接，这些连接必须在去中心化的情况下使用。当将现有的分布式训练方法原封不动地应用于不同的硬件设置时，这是一个有效的批评。此类系统旨在利用它们在上面部署的基础设施的特定属性。然而，在学术文献中，最近有强有力的工作表明，对这种系统的改变促进了异构、低带宽、小节点容量群中的数十亿参数训练。如果进一步的改变当前的分布式训练方法，明确关注低通信带宽
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/987093
推荐阅读
相关标签
