热门标签
热门文章
- 1千兆网数据接收（一）_tcp和udp都可以用在千兆网卡上吗
- 2【浏览器系列】从输入网址（URL）到页面加载的全过程_浏览器输入url到页面加载全过程
- 3如何对比两个数据库中的结构、表数量、字段数量等是否一致的问题_如何对比两个数据库的一致性
- 41.2UiPath第一个案例HelloWorld_uipath 使用案例
- 5flink on k8s模式通过web UI界面查看任务运行情况_.通过 flink 的 web ui 来监视集群的状态和正在运行的作业(本地地址:localhost
- 6Go最全ffmpeg学习——音频源_nb_samples(1)，轻松拿到了阿里Golang高级开发工程师的offer_使用ffmpeg生成一个有声音的白噪声mp3音频
- 7【Postman】Postman 接口测试工具详解 - 发送HTTP请求3_在线postman请求数据
- 8IDEA中实体类(POJO)与JSON快速互转_pojo to json
- 9@autowired注入失败_Spring依赖注入和自动注入
- 10《Google SRE工作手册》第5期（总46期）读书分享 （视频+文字版）
当前位置: article > 正文
使用CPU运行llama 70B版本_ollama在cpu上运营
作者：笔触狂放9 | 2024-08-14 08:07:46
赞
踩
ollama在cpu上运营
Releases · ggerganov/llama.cpp · GitHubPort of Facebook's LLaMA model in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub.
https://github.com/ggerganov/llama.cpp/releases?下载llama.cpp（选择2023年8月21号之前的版本）
使用CPUZ查看CPU指令集是否支持AVX512，或者其他，根据自己的CPU下载具体文件。
创建一个文件夹，将文件解压进来。
如果猜的没错的话，模型有多大，就需要多大内存，根据自己的内存选择。
将模型解压放在刚刚的文件夹里。
创建一个bat或者在当前目录打开一个终端。
输入："server.exe" --ctx-size 4096 --threads 16 --model llama-2-70b-chat.ggmlv3.q8_0.bin --gqa 8
一定要加 --gqa 8这个参数才能运行，其他参数自行研究。
根据自己下的模型名修改上面的参数
打开终端里出现的网址。
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签
