安卓上部署 lama3.1 大模型_llama3.1部署

lama3.1出来了,ollama都可以直接个人部署了,电脑上就容易多了,就不做多说,这里来一个安卓下部署的方法.主要是能用国内源的就用国内源,有几个要求得先知道一下,可用内存>6G的就行.如果手机的物理内存是8G建议不要试了,12G以上的可以试一下:
原理很简单,就是安装一个debain虚拟机,再部署ollama来运行
精简到8步,如下:

Try  ...

Step 1:安装 Termux
下载地址:
https://github.com/termux/termux-app/releases/download/v0.119.0-beta.1/termux-app_v0.119.0-beta.1+apt-android-7-github-debug_universal.apk

Step 2: 切到清华源

sed -i 's@^deb.∗stablemaindeb.*stablemain$@#\1\ndeb https://mirrors.tuna.tsinghua.edu.cn/termux/apt/termux-main stable main@' $PREFIX/etc/apt/sources.list

apt update && apt upgrade

Step 3: 更新包
pkg update
pkg upgrade

Step 4: 安装 Proot-Distro 与 debian 
pkg install proot-distro
pd install debian
Step 5: 登录到debian 替换源为aliyun的
pd login debian
sed -i 's#deb.debian.org#mirrors.aliyun.com#g' /etc/apt/sources.list
#更新升级一下
apt update -y
apt upgrade -y

Step 6: 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
#ollama.com有的地方可能下载不了也可以用gitee有来安装
# curl -fsSL https://gitee.com/pinke/ollama-install/raw/master/install.sh | sh

 

Step 7: 运行 Ollama 服务
#后台跑Ollama 服务
nohup ollama serve &

Step 8:运行 Ollama 模型  llama:3.1 第一次使用不存在会下载,速度也很快
ollama run llama:3.1

Done .
可以开始问了.
后面使用就简单多了:
打开Termux ->运行 

pd login debian
nohup ollama serve & 
ollama run llama:3.1

即可