爆火！！！中文版 Llama3 开源了！！_ollama llama3 强制用中文回答

作者：运维做开发 | 2024-06-19 07:37:29

踩

ollama llama3 强制用中文回答

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下：

重磅消息！《大模型面试宝典》(2024版) 正式发布！

喜欢记得点赞、收藏、关注。更多技术交流&面经学习，可以文末加入我们。

最近，Meta 推出了 Llama 3，为开源大模型树立了新的标杆。

和以往的原始 Llama 模型一样，Llama 3 对中文的支持效果欠佳，经常会出现你用中文提问，它用英文或中文+英文回复的现象。因此，要想让国内用户用上该模型，开发者还需对其进行微调。

最近，在 Github 以及 HuggingFace 平台上，我们已经陆陆续续地看到了一些这样的项目，比如 llama3-Chinese-chat 和 Llama3-8B-Chinese-Chat。这篇文章将逐一介绍。

llama3-Chinese-chat

llama3-Chinese-chat 是一个 Github 项目，由名为「Ke Bai」的开发者开发。

在这里插入图片描述

项目链接：https://github.com/CrazyBoyM/llama3-Chinese-chat

该模型效果如下：

在这里插入图片描述
作者表示，该模型使用 170k + 高质量多轮中文对话数据连夜训练得到。他还整理了一份可用的训练数据列表，里面包含弱智吧、小红书、知乎等网络数据和开发者自己制作的数据。

模型推理成本如下：

fp16 模式大概占用 16G 显存，推荐 24G 显卡使用；
int4 模式大概占用 8G 显存，推荐至少 10G 显存使用，需要自行搜索修改代码中 load_in_4bit=True

此外，作者还整理了一些有用的教程、工具等资源，具体细节可以在 GitHub 库中找到。

Llama3-8B-Chinese-Chat

Llama3-8B-Chinese-Chat 是第一个基于 Meta-Llama-3-8B-Instruct 模型通过 ORPO 专门针对中文进行微调的中文聊天模型。项目作者是清华大学自动化系 LEAP 实验室三年级博士生王慎执，导师为宋世济教授和黄高教授。
在这里插入图片描述
项目链接：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat?continueFlag=5a1e5d88eed977ffb39d9b451be2a81d

与原来的 Meta-Llama-3-8B-Instruct 模型相比，Llama3-8B-Chinese-Chat 模型显著减少了「中文问题英文回复」以及中英文混合的问题。此外，与原始模型相比，新模型大大减少了答案中表情符号的数量，使回复更加正式。

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了算法面试和技术交流群，相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：来自CSDN + 技术交流

通俗易懂讲解大模型系列

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/735768