当前位置:   article > 正文

Ilya出走加剧OpenAI离职潮!RLHF作者Jan Leike同日辞职,超级对齐项目分崩离析

Ilya出走加剧OpenAI离职潮!RLHF作者Jan Leike同日辞职,超级对齐项目分崩离析
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

Ilya Sutskever宣布退出OpenAI,震动整个AI圈。

数小时后,RLHF发明者之一Jan Leike也追随他的脚步一起离开,再次给OpenAI的前途蒙上了一层阴影。

两人共同领导的超级对齐团队成立还不到一年,已经分崩离析。

93876cef976db8f76e58b73a59a0c1db.png他甚至不留下一句客套话

Jan Leike在GPT-4项目上与Ryan Lowe共同领导了对齐工作,而后者也已于3月底离开OpenAI

所以说不止超级对齐团队,而是整个OpenAI安全研究方向的人才,都在持续动荡中

3b57d2c0fad1dec867fb5bd9ee33bbaf.png

超级对齐成员之一William Saunders,以及参与过GPT-4对抗性测试的Daniel Kokotajlo,此前两人均已离开OpenAI。

其中Kokotajlo在Less Wrong论坛留下了自己的理由:

对OpenAI能否在AGI时代负责任的行动失去了信心。

按他的说法,当前的AI监管努力集中在“评估风险和采取缓解措施”的组合上,这种组合很容易被大型公司钻空子利用,最终导致“选择性暂停”,也就是最需要被监管的前沿大型AI实验室反而没被监管到

“幻灭了”,这是他用来形容辞职原因的说法,可能也代表了所有这些AI安全研究人员的心情。

对于这一系列事件,有网友表示:Ilya和Leike离开后,OpenAI可能不再是原来的OpenAI了。

e320fb90836f3cfd8b54df0dbcafafa5.png

还有人更悲观一些,失去两人以后,把对OpenAI能做好AGI的预期调整为零。

3e256325b20bf1a139a2d51588663d4b.png

以及AI安全问题如此重要,让人们无法以看热闹的心态来看待这些“抓马”。

2c8a825d1b04621a9b15bd8ab8987040.png

超级对齐团队或不复存在

为什么Jan Leike的离开引起这么大影响?

他早年在DeepMind工作,与OpenAI团队共同开发了人类反馈强化学习RLHF,后来成为ChatGPT的核心技术之一。

加入OpenAI后,从代码大模型Codex、ChatGPT的前身InstrucGPT,到ChatGPT、GPT-4他都是重要贡献者。

在去年11月的OpenAI董事会叛变风波中,Jan Leike也发挥了关键作用,可能是促成Ilya最终回心转意结束乱局的因素之一

2023年底,《时代》杂志将他列为人工智能领域100名最具影响力的人物之一。

69b59a9120f3d976e96345007760e47a.png

2023年7月,Jan与Ilya发起了OpenAI超级对齐团队,拿出20%总算力,直接越级瞄准如何控制还不存在的超级智能。

对于不同时间尺度的AI风险,OpenAI有三个团队来分别应对,其中超级对齐负责遥远的未来。

3553ae08a1c969f0bb9e3571d9a4e0fb.png

超级对齐团队的第一个成果《Weak-to-Strong Generalization》,试图证明通过弱模型监管强模型是一条行之有效的路径

18ba277a9247d4e8f2e6c95b7a488604.png

此外他们还开源了用于分析大模型可解释性的工具OpenAI Transformer Debugger。‍‍‍

这个工具结合了自动可解释性技术和稀疏自动编码器,支持神经元和注意力头干预,让研究者无需便携代码即可获得数据。

ebb6521ccd7db47f466101f59425d0d4.png

除了研究之外,超级对齐团队此前还有一系列资助AI安全研究的计划,第一期总计向学校、非营利组织和个人发放了1000万美元资金。

可能也就此成为绝唱。

e2e0d344fbdfa627c2caaa9370fca6e9.png

One More Thing

在大量人才持续出走的同时,OpenAI也引进了一些新鲜血液。

最新消息,他们挖来了谷歌搜索广告业务的21年老将。

在商业化的路上不断加速,或许是AI安全团队选择分道扬镳的原因之一。

42d6549883b8535d3d5549d99efc587d.png

参考链接:
[1]https://x.com/janleike/status/1790603862132596961
[2]https://openai.com/index/weak-to-strong-generalization/
[3]https://x.com/theinformation/status/1790467870545027186

量子位年度AI主题策划正在征集中!

欢迎投稿专题 一千零一个AI应365行AI落地方案

或与我们分享你在寻找的AI产品,或发现的AI新动向

3083df8c6e05d89e84c2c54285f12500.png

点这里

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/665360
推荐阅读
相关标签