llama3的推理部署

先写个打油诗吧。这个年代身材好还不行，还要会叫——卖。

Llama3大模型一见，大量工作就涌现。

刚好最近我有点闲，组合巨人工作开个源。

各位看官要觉得好，不如把star搞一搞。

（动动你发财的手手，去github上点star哟）

1、开源网址

github网址

我还是觉得这是大语言模型最适合入门的推理代码，简洁，没有冗余。如果各位看官觉得我推荐的这一剂药可以，记得点点星（star），thanks very much，and feel your heart beating

2、项目描述

注意:

此代码基于llama2.c，并结合distributed-llama的convert-tokenizer-llama3.py所构建的llama3的推理部署方案。结合代码解释csdn专栏，知识可能学的更好，掌握的更持久，让你腰不酸，腿有力。第一次开源，请指出任何错误。

2.1 下载模型的几种方式

人才：下载预训练模型的几种方式

2.2 克隆代码

git clone https://github.com/guoguo1314/llama3_learn.c.git
cd llama3_learn.c
1
2

2.3 convert-tokenizer

python convert-tokenizer-llama3.py tokenizer.model
1

与llama2不一样了哈

2.4 convert model

python convert-llama3.py Meta-Llama-3-8B/original llama3_8.bin
1

2.5 run

make run
./run llama3_8.bin
1
2

2.6 感谢

最后，感谢karpathy和b4rtaz。

PS：后续还有很多东西根据我的想法完善，这或许只是初试版本。