当前位置:   article > 正文

linux 运行ollama_linux 执行ollama

linux 执行ollama

拉取镜像:

docker pull ollama/ollama

 使用CPU服务器运行docker:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

使用GPU服务器运行docker:

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

如果要把docker文件挂在到别的路径使用如下命令:

  docker run -d --gpus=all -v /data/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 会报错:

runtime/cgo: pthread_create failed: Operation not permitted

需要在命令中添加 --privileged 参数。

最终命令如下:

docker run --privileged -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama  

启动docker之后,进入docker容器:docker exec -it ollama /bin/bash

接下来就可以使用ollama应用了:

运行 llama3 大模型:

 ollama run llama3

如下图所示,模型已经启动

如果运行本地/自定义模型:

比如我使用huggingface中下载GGUF格式模型,该框架它只支持这种格式。

地址如下:https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF/tree/main

下载之后放入绑定的宿主的路径中:

接下来创建配置文件Modelfile:

FROM /root/.ollama/myfile/Llama3-8B-Chinese-Chat.q3_k_m.GGUF

运行命令:

ollama create llamaChinese -f Modelfile;
ollama run llamaChinese

运行成功就可以对话了。

使用api请求流式输出:

  1. curl http://localhost:11434/api/generate -d '{
  2. "model": "llama3",
  3. "prompt": "Why is the sky blue?",
  4. "stream": true
  5. }'

不使用流式输出的api请求: 

  1. curl http://localhost:11434/api/generate -d '{
  2. "model": "llama3",
  3. "prompt": "Why is the sky blue?",
  4. "stream": false
  5. }'

聊天请求api/chat:

  1. curl http://localhost:11434/api/chat -d '{
  2. "model": "llama3",
  3. "messages": [
  4. {
  5. "role": "user",
  6. "content": "why is the sky blue?"
  7. }
  8. ]
  9. }'

携带具有历史聊天信息的请求:

  1. curl http://localhost:11434/api/chat -d '{
  2. "model": "llama3",
  3. "messages": [
  4. {
  5. "role": "user",
  6. "content": "why is the sky blue?"
  7. },
  8. {
  9. "role": "assistant",
  10. "content": "due to rayleigh scattering."
  11. },
  12. {
  13. "role": "user",
  14. "content": "how is that different than mie scattering?"
  15. }
  16. ]
  17. }'

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/663110
推荐阅读
相关标签
  

闽ICP备14008679号