赞
踩
就在今天,马斯克的xAI又发布了最新款的大模型,距离Grok-1发布才刚过去11天。马斯克看来是真的铁了心的要进军大模型了。不过话又说回来了,难怪把Grok-1开源,原来后面憋了个大的
在xAI的官网上,首当其冲的就是Grok-1.5的发布页,
官方刻意强调了此次升级的两个关键点,一个方面是最高支持128k的上下文输入,
另一方面是全面增强了Grok-1.5的推理能力和数学计算能力。
官方目前一共发布了4个Grok-1.5的基准测试,包括:
MMLU(大规模多任务语言理解)
MATH(数学基准测试)
GSM8K(小学数学问题集)
HumanEval(编程问题数据集)
其中数学基准测试,相较于上一代提升了近一倍,无限接近于GPT-4的水平,但距离Claude3 Opus(超大杯)还具有不小的差距
在 GSM8K 基准测试中的成绩表现的比较优异,已经能和当前头部的大语言模型相媲美了
值得一提的是在HumanEval的基准测试中Grok-1.5已经超过了GPT-4,和除Claude3 Opus外的所有模型
要知道距离Grok-1的发布仅仅过去了才11天,更甚的是Xai成立也才不到一年的时间,真不愧是背靠马斯克的团队,实力太雄厚了!
Grok-1.5另一个更新的功能就是支持在上下文窗口中能处理128k的token,相较于上一代提升了16倍
除此之外,Grok-1.5 建立在基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架之上 ,简而言之就是这个训练堆栈能够以更小的投入,获得更强的训练效果
xAI的自定义训练编排器,会自动检测有问题的节点,并直接将它删除
优化了检查点、数据加载和训练作业重启的逻辑,能够最大限度的减少发生故障的停机时间
另外,xAI还在官网上透漏了他们将会在近期开放Grok-1.5的测试给部分用户,并且在未来的几天会推出一些新的功能。
xAI如此玩命的干,不知道Anthropic和OpenAI有没有感觉到压力,毕竟xAI是直接由马斯克领导的团队,在X上很多网友都喊话奥特曼,让它尽快推出GPT-5,还有网友认为,xAI在未来一定是在大模型领域的领军人物。当然这种场景一定是大家喜闻乐见的,因为这些大模型公司干的越凶,最后我们用的就越爽
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。