当前位置:   article > 正文

想玩GPT-3申请不到?UC伯克利让你免费在线玩,无需注册,最快10s出结果

想玩GPT-3申请不到?UC伯克利让你免费在线玩,无需注册,最快10s出结果
羿阁 衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

你说,咱今天可以不加班不?

不,到点走不了,今天这班你必须得加。

如此冷冰冰的回答,来自一个可以免费调戏千亿参数大模型的网站

4ca694391418db21b353e9b91cae2e66.png

这个网站是依托Meta AI开源的预训练语言模型OPT-175B做的,背后团队来自加州大学伯克利分校。

最近该网站在twitter有点火。

再加上不用注册可以“白嫖”,不少人一边大呼Nice,一边已经去网站“到此一游”了。

4374c5c4e6bb681aac7e9dc10931ff82.png

如果你之前不知道它,不妨现在跟我们去玩一玩。

这是一个什么网站?

网站主页整个看起来还挺清爽,最重要的是位于页面中心的输出和输入框。

7279d88ac8c66464b240ba6775490b5e.png

在上方的输入框敲入你需要的内容,点击一下左下角的蓝色按钮,再等上那么一会儿,你就能得到结果了。

目前可以实现的功能有:询问事实,直接聊天,航班代码,多语言翻译,加密货币,代码,计算数学……

比如把你想要回家的迫切心情翻译一下:

fac1d90d50d96a1d505eea4a0c331ab6.png

或者来点儿数学题:

44c2250fb28f64eb04608e4100c11d5b.png

为了使用起来更简便,网站上只给了三个生成参数:

响应时长、温度参数和Top-p。

3a49ae804aa1940f46299ab59093d960.png

在初始设置值下,无论输入句的长与短,响应时长都需要20来秒的时间。

我们试了一下,把这一参数极限往左或往右拉,发现响应时长大概是维持在10-90秒这个区间里。

2b19b41d1f4ca70a08eea04476ca12a2.png

温度参数控制采样分布的尖锐程度,较低的温度会促使生成器从模型中选择得分较高的token。

Top-p从累计概率超过p的最小可能单词集中抽样,较小的p值会阻止生成器从模型中选取分数较低的token。

团队在网站主页上还声明,虽然只给大家用三个,但是我们后端是支持多种生成技术和参数的!

de007cc93dabdb8b82285109a43df57b.png

如果用户现在就想尝试更多的超参数,在网站上体验不同的生成技术,可以通过使用团队做出的一个系统Alpa(用来训练和服务大模型),自己增加相关服务的设置。

他们目前在开发一个RESTFUL API 来公开完整的参数集,后续可以关注一下。

因为采用的是随机抽样,所以针对同一个问题,每一次生成的结果都会有所不同

比如,前后两次想让网站帮忙解决“中午吃啥”这个千古难题,它一会儿推荐你吃三明治,一会儿推荐你吃沙拉。

(总之是非常健康了)

59fc1775e72e106e0906a9e393d404be.jpeg

在隐私保密这一块,网站称不会存储输入的内容,只会记录输入词长度这一类东西。

团队还说了,对于没多少AI相关背景,还想了解接触一下AI生态系统的人来说,网站挺容易上手。

为了验证友好性,我们找来一个AI小白玩儿了一下这个网站。

打开网站,这位旁友啥参数也没动,单刀直入,在输入框里明目张胆地输入了

让我们邀请读者在阅读这篇文章后,关注我们的公号吧。

21.7秒后,网站和我们一起面带热情的微笑,暗(ming)(shi)你记得关注量子位(手动狗头)

76023eba45667a6ef1a89ff12acffca4.png

网站背后的技术依托

要想搞清网站背后的原理,首先,让我们先了解一下它为什么会选择OPT-175B做原型。

OPT-175B,是Meta AI开源的预训练语言模型,共有1750亿个参数,今年5月开源的时候,简直引发了AI研究社区的大轰动。

782eb0ef88e118faa8ac0ad4a4b03641.png

原因是它的效果完全不输GPT-3,还弥补了OpenAI不够open的问题,有时候被大家戏称为GPT-3的免费版本。

28d5f23934c813fc1b3a5971b3f13c01.jpeg

用14个NLP任务对GPT和OPT进行测试,平均精度相差不大

不仅从完整模型到训练代码、部署代码完全开放,OPT-175B运行时的碳消耗更是连GPT-3所需的1/7都不到,属实是非常环保省能了。

可以说,OPT-175B的开源增加了大模型开发的开放性。

而这个神奇网站背后的技术Alpa,则堪称是OPT-175B的“加强免费版”。

Alpa,是一个专门用于训练和服务大规模神经网络的系统。

此前,无论是OpenAI的GPT-3,还是Meta AI的OPT-175B,都已经实现了将神经网络扩展到数千亿参数。

但是呢,神经网络规模越大,训练和服务他们的分布式系统技术就更复杂

6a77f4479d70224830a010f296adb468.png

现有的模型并行训练系统,要么要求用户手动创建一个并行化计划,要么要求用户从有限的模型并行化配置空间中自动生成一个。

相对来说有点复里复杂的,而且还做不到在分布式计算设备上扩展复杂的DL模型。

Alpa的优势在于,仅通过几行代码,就能实现大规模分布式训练和服务的自动并行化。

22351003ad68f0025a12fb3c814c3a99.png

具体来说,Alpa的突破之处有以下几点:

  • 专为大型模型设计:Alpa在分布式集群上实现了数十亿参数的训练模型的线性缩放,专为训练和服务于GPT-3等大型模型而设计。

  • 没有硬件限制:不依赖最新一代的A100 80GB GPU或花哨的InfiniBand硬件,凭借自家的GPU集群即可使用OPT-175B,特别是在40GB A100、V100等老一代GPU上也能提供更灵活的并行性服务。

fae87a3a2eeff4abcadcb1395efdcc85.png

  • 灵活的并行策略:Alpa能够根据集群设置和模型架构,自动找出适当的模型并行策略。

而且Alpa由Jax、XLA和Ray等开源、高性能和生产就绪的库提供支持,和ML生态系统集成得比较紧密。

网站的建立,就是团队在Alpa的基础上,根据Meta AI已开源的OPT-175B,做了一个类似OpenAI GPT-3的服务。

运行成本更低,并行化技术更先进,所以可以做到免费供所有人使用。

当然,网站使用受Alpa开源许可的约束。同时因为是针对OPT-175B的,也受到相应的约束,也就是说,这个网站玩玩可以,真要应用,只能以研究为目的

值得一提的是,有关这篇系统的论文《Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning》已经被收录进计算机系统领域顶会OSDI 2022。

eaf6779c37011136053aa803808f0e03.png

并且,该团队还在国际机器学习大会ICML 2022上,做了关于整个大模型技术栈的tutorial。

fa8ec2abe9e42bd0a1d8dea3649ce0b1.png

目前该项目已在GitHub上开源,链接可在文末自取。

研究团队

Alpa的研究团队主要来自加州大学伯克利分校。

共同一作有三位,分别是郑怜悯,李卓翰,张昊。

郑怜悯,加州大学伯克利分校EECS(电子工程和计算机科学)系博士,研究兴趣包括大规模ML系统、编译器、并行计算和程序合成。

38aac4be5e91c8b3f949342e75300c41.png

郑怜悯本科毕业于上海交通大学ACM荣誉班,取得计算机科学学士学位。曾经在Amazon Web Services、OctoML和华盛顿大学担任过研究实习生。

李卓翰,加州大学伯克利分校计算机科学博士生,本科毕业于北京大学。

28899c8ca4f821e489d808a1c376e351.png

他的研究方向主要在ML和分布式系统的交叉点,致力于提高当前ML模型的准确性、效率、可解释性等性能。

张昊,加州大学伯克利分校RISE实验室博士后。

a2d554cc015f796961e9964a1b8bec1a.png

张昊最近致力于大规模分布式DL,构建端到端的可组合和自动化系统;还研究大规模分布式ML,涉及性能和可用性。

如果你感兴趣的话,可以戳下面的链接,自己上手体验一下~

网站demo:
https://opt.alpa.ai

参考资料:
[1]https://arxiv.org/pdf/2201.12023.pdf
[2]https://arxiv.org/pdf/2205.01068.pdf
[3]https://github.com/alpa-projects/alpa

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号