赞
踩
在字节跳动,机器学习算法被应用在许许多多不同的场景:
在今日头条里,你被推荐的文章;
在抖音里,你用到的那些活灵活现的视频特效;
在飞书里,把你说的话转化为文字的功能;
在前不久公测的 AI 对话产品「豆包」里,AI 给你生成的文本段落;
……
这些算法模型,是怎样生产出来的?
或许你会回答:“收集数据,找预训练模型,在 GPU 上训练,然后各种微调……”
但当我们有很多位算法工程师、要训练许许多多模型、使用很多 GPU、管理海量数据的时候,又应该怎么办呢?
靠的是字节跳动的「机器学习平台」。
字节跳动工程师哈雷说:“我们机器学习平台的每天产出的模型应该有几万个,活跃在平台上的算法工程师可能也有两三千人。”此外,对于许多客户公司,诸如自动驾驶行业、大模型行业、电商行业的企业,火山引擎也在依靠机器学习平台来完成他们的模型训练需求。
字节跳动的机器学习平台能够让千卡规模的 GPU 集群稳定运行数百小时的时间,同时最大可能的节约资源,“如果在千卡规模的 GPU 上运行,可能一个月的成本都要四五百万的样子”字节跳动产品经理阳阳说。通过流量错峰、混合部署的方式,我们尽量提高资源利用率,就能把成本降下来。
今天,我们开启了「字节技术站」,一档介绍字节跳动技术实践与技术故事的视频栏目,本期视频先为你揭开字节跳动机器学习平台的神秘面纱。
字节跳动机器学习平台相关技术类岗位正在招聘中,扫描下图二维码或点击文末「阅读原文」,直达官网投递简历~
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。