当前位置:   article > 正文

中文微调版llama3来了,附ollama部署方法_chinese-llama-alpaca-3运行的配置

chinese-llama-alpaca-3运行的配置

在人工智能的浩瀚星空中,刚发布不久的Llama 3如同一颗璀璨的星辰,以其强大的能力照亮了智能对话的未来。然而,即便是如此耀眼的存在,也因为某些不可说的原因在中文世界面前显得有些力不从心。但现在,一道曙光划破了这片迷雾——中文微调版的Llama 3正式登场,它的地址是:https://github.com/ymcui/Chinese-LLaMA-Alpaca-3。

这个版本并非官方出品,因此,我们不能直接使用ollama进行下载。但别担心,魔搭社区为我们提供了下载的途径。只需点击README中的魔搭社区地址,下载ggml-model-q8_0.gguf,然后按照以下步骤操作:

  1. 编写Modelfile,内容如下:
FROM /models/ollamamodels/ggml-model-q8_0.gguf   TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>      {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>      {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>      {{ .Response }}<|eot_id|>"""   SYSTEM """"""   PARAMETER num_keep 24   PARAMETER stop <|start_header_id|>   PARAMETER stop <|end_header_id|>   PARAMETER stop <|eot_id|>   PARAMETER stop assistant   PARAMETER stop Assistant   
  • 1
  1. FROM后面的路径替换为你自己的路径。

  2. 运行以下命令创建模型:

ollama create my-llama3 -f Modelfile   
  • 1

如此一来,一个本地运行的Llama 3模型便诞生了。经过我的亲自测试,这个经过微调的版本在中文支持度上有了显著的提升,不再出现中英文混杂的情况,让智能对话更加流畅自然。

让我们一起拥抱这个更加智能、更加懂中文的Llama 3,开启智能对话的新篇章!

如何学习大模型 AGI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

-END-


声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/903886

推荐阅读
相关标签