“源神”-马斯克，打脸OpenAI，如期开源Grok大模型

  ChatGPT狂飙160天，世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源

​

 发布在https://it.weoknow.com

“源神”-马斯克

就在刚刚，马斯克的xAI正式开源了Grok大模型的代码、权重和架构。该模型有3140亿参数，是Llama 2的4倍。这也是它成为，迄今为止参数量最大的开源大模型。

发布10个小时，Github上狂揽1万Star、1000Fork。

Grok基本信息

1. 训练时间为2023年10月，使用Rust和JAX从零开始训练
2. 参数量3140亿（是不是很熟悉的数字，没错就是π）
3. 混合专家模型，8个混合专家（Mo8E）
4. 64层神经网络
5. 8k最大上下文
6. 6144的Embedding长度

教程

硬件要求：

由于该模型参数巨大，劝退了绝大部分个人开发者(土豪除外)。还没有详细的硬件要求清单，但大体上对显卡的要求是：4-bit量化需要320G显存、8-bit量化版需要600G显存。

（后续再更新详细硬件要求）

运行步骤(很简单)

Stg1、下载checkpoint

Stg2、ckpt-0目录放到checkpoint中

Stg3、运行测试code

pip install -r requirements.txt python run.py

ps:权重下载链接

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

---

  ChatGPT狂飙160天，世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源

​

 发布在https://it.weoknow.com

---